Servicios
Descargas
Buscar
Idiomas
P. Completa
Aceptación y uso de la evaluación basada en computadora en estudiantes universitarios
Julián Gerardo Torres Kauffman; Iván Olmos Pineda; Juan Manuel González Calleros
Julián Gerardo Torres Kauffman; Iván Olmos Pineda; Juan Manuel González Calleros
Aceptación y uso de la evaluación basada en computadora en estudiantes universitarios
Acceptance and use of computer-based assessment in university students
Apertura (Guadalajara, Jal.), vol. 16, no. 1, pp. 40-55, 2024
Universidad de Guadalajara, Sistema de Universidad Virtual
resúmenes
secciones
referencias
imágenes

RESUMEN: El rápido desarrollo de las tecnologías de la información y la comunicación (TIC) abrió nuevas posibilidades para las prácticas de enseñanza y evaluación en la educación superior, entre estas se encuentra la evaluación basada en computadora (computer based assessment, CBA). Ya que el desarrollo efectivo de esta depende de la aceptación de los estudiantes, en el presente estudio se analizaron los constructos que afectan la intención de utilizar la CBA mediante el modelo de aceptación de evaluación basada en computadora (computer based assessment acceptance model, CBAAM) en una universidad privada de México. La metodología fue cuantitativa y se dividió en dos fases: 1) aplicación de una evaluación con preguntas de opción múltiple con evaluación automática, y 2) prueba de la medición y el modelo estructural del instrumento CBAAM con 84 estudiantes del primer semestre de ingeniería. Los resultados indican que la percepción lúdica tiene un efecto directo sobre el uso de la CBA, mientras que las condiciones facilitadoras, la autoeficacia informática, la facilidad de uso percibida, la expectativa de meta, la influencia social y el contenido solo tienen efectos indirectos. El modelo de aceptación estudiado explica aproximadamente 47% de la variación de la intención de uso. Se recomienda investigar otras variables que afectan el propósito de usar y aplicar el modelo en otros contextos para mayor confirmación.

Palabras clave: Aceptación de la tecnología, educación superior, evaluación basada en computadora, evaluación electrónica.

Abstract: The rapid development of information and communication technologies (ICT) has opened new possibilities for teaching and assessment practices in higher education, including computer-based assessment (CBA). Since the effective development of this depends on student acceptance, the present study analyzed the constructs that affect the intention to use CBA through the computer-based assessment acceptance model (CBAAM) at a private university in Mexico. The methodology was quantitative and divided into two phases: 1) application of an assessment with multiple-choice questions with automatic grading, and 2) testing of the measurement and structural model of the CBAAM instrument with 84 first-semester engineering students. The results indicate that playful perception has a direct effect on the use of CBA, while facilitating conditions, computer self-efficacy, perceived ease of use, goal expectation, social influence, and content only have indirect effects. The acceptance model studied explains approximately 47% of the variation in the intention to use. It is recommended to investigate other variables that affect the purpose of use and to apply the model in other contexts for further confirmation.

Keywords: Technology acceptance, higher education, computer-based assessment, electronic assessment.

Carátula del artículo

Artículos de investigación

Aceptación y uso de la evaluación basada en computadora en estudiantes universitarios

Acceptance and use of computer-based assessment in university students

Julián Gerardo Torres Kauffman
Benemérita Universidad Autónoma de Puebla, Mexico
Iván Olmos Pineda
Benemérita Universidad Autónoma de Puebla, Mexico
Juan Manuel González Calleros
Benemérita Universidad Autónoma de Puebla, Mexico
Apertura (Guadalajara, Jal.), vol. 16, no. 1, pp. 40-55, 2024
Universidad de Guadalajara, Sistema de Universidad Virtual

Received: 29 September 2023

Accepted: 30 January 2024

Published: 22 March 2024

Funding
Funding source: Conacyt
Contract number: 769631
Funding statement: Este trabajo fue realizado con el apoyo de la beca Conacyt
INTRODUCCIÓN

En los últimos años, las modalidades sincrónicas y asincrónicas (Chau et al., 2021) de enseñanza y aprendizaje han atraído mucha atención, sobre todo tras la contingencia originada por la pandemia de la covid-19. Este hecho contribuyó a que la digitalización en las instituciones educativas se acelerara, de forma que diversas universidades han adoptado la enseñanza electrónica (e-teaching) y el aprendizaje electrónico (e-learning) para reemplazar las actividades educativas tradicionales en el aula (Tang et al., 2021).

Varios investigadores se han centrado en la aceptación o el rechazo por parte de los usuarios hacia las aplicaciones tecnológicas y sus respectivos instrumentos de medición en diversos campos, entre los que se encuentra la educación (Granic & Marangunic, 2019). Aunque se han generado muchos modelos de investigación en este ámbito, el modelo de aceptación de tecnología (technology acceptance model, TAM), introducido por Davis (1989), se convirtió en uno de los más críticos relacionados con los factores que inciden en la adopción de su uso por parte de los usuarios. Se ha enfatizado la importancia de aplicar la tecnología en las actividades de enseñanza y aprendizaje (Scherer et al., 2019), siendo la evaluación uno de los factores clave en la práctica educativa.

La evaluación electrónica (e-assessment), según su definición más amplia (Joint Information Systems Committee, JISC, 2007), incluye el uso de una computadora como parte de cualquier actividad relacionada con la evaluación, ya sea sumativa, formativa o diagnóstica. Autores como Kundu y Bej (2021), Al-Qdah y Ababneh (2017), Jordan (2013) y Timmis et al. (2016) señalan que, dentro de la literatura, términos como: evaluación basada en computadora, evaluación digital, pruebas basadas en computadora, evaluación asistida por computadora, pruebas asistidas por computadora, pruebas administradas por computadora, evaluación mejorada por la tecnología, evaluación habilitada por la tecnología, evaluación informatizada, pruebas informatizadas, evaluación basada en la web, examen electrónico, pruebas electrónicas y evaluación en línea, son generalmente considerados sinónimos de evaluación electrónica.

Aunque la adopción de la enseñanza electrónica ha sido ampliamente estudiada, es limitado el número de investigaciones centradas en la evaluación basada en computadora (computer based assessment, CBA) (Mo et al., 2022). Entre las características de la mayoría de las plataformas de aprendizaje electrónico de última generación se encuentra que brindan soporte para la evaluación en línea, y en muchos casos este soporte incluye la evaluación automática de pruebas. Un buen ejemplo son las pruebas de opción múltiple, donde los estudiantes deben elegir la respuesta correcta entre varias posibilidades.

Aceptación de la evaluación basada en computadora

Si bien se han realizado diversos estudios de aceptación de tecnología en el campo de la educación, la mayoría se ha enfocado en la aceptación del e-learning. Gran parte de estos trabajos utilizaron el TAM como el modelo base, y aunque se amplió con otros constructos, son pocas las investigaciones que lo han utilizado sin extenderlo (Imtiaz & Maarop, 2014). El TAM se desarrolló en específico para modelar la aceptación de las tecnologías relacionadas con la informática por parte de los usuarios (Davis, 1989). Además, este modelo sugiere que la aceptación del uso de una nueva aplicación TIC está significativamente determinada por dos factores: la utilidad percibida (PU) y la facilidad de uso percibida (PEOU).

En cuanto a los instrumentos sobre la aceptación de la evaluación basada en computadora, se han realizado pocas investigaciones. La mayoría de estos estudios han sido llevados a cabo por Terzis et al. (2012a, 2012b, 2013) y Terzis y Economides (2011), así como por Nikou y Economides (2017). Específicamente, Terzis y Economides (2011) construyeron el modelo de aceptación de evaluación basado en computadora (computer based assessment acceptance model, CBAAM), con una escala de 30 ítems, para investigar la intención de los estudiantes de utilizar la CBA. El objetivo de este trabajo fue adaptar el instrumento CBAAM a un contexto y época diferentes para analizar su aplicación en la CBA.

Cabe destacar que al revisar la literatura no se encontraron instrumentos con reportes de confiabilidad y validez para medir la aceptación y la intención de uso por parte de estudiantes universitarios mexicanos de un sistema de evaluación basada en computadora (EBC).

DESARROLLO DE HIPÓTESIS Y MODELO CBAAM

El modelo CBAAM fue construido sobre modelos de aceptación previos, como el modelo de aceptación de tecnología (TAM), la teoría del comportamiento planificado (TPB) y la teoría unificada de la aceptación y uso de la tecnología (UTAUT). En CBAAM se agregaron dos variables adicionales (contenido y expectativa de meta) sobre las variables de medición actuales. Este modelo combinó los constructos que se desarrollan a continuación para estudiar la aceptación de un sistema de EBC.

Percepción lúdica

Moon y Kim (2001) ampliaron el TAM al añadir el constructo percepción lúdica, que se define por tres dimensiones:

  • Concentración: determina si el usuario está concentrado en la actividad.

  • Curiosidad: establece si el sistema despertó la curiosidad cognitiva del usuario.

  • Disfrute: estipula si el usuario está disfrutando o no de la interacción con el sistema.

Aunque estas dimensiones son interdependientes y están vinculadas, cada una de ellas por sí sola no refleja la interacción total de los usuarios con el sistema. Una implementación exitosa de una EBC es capaz de mantener la concentración de los usuarios, la curiosidad y el disfrute, por lo tanto, el CBAAM asumió que la intención de uso se ve afectada positivamente por la percepción lúdica, como se indica en la siguiente hipótesis:

  • H1: La percepción lúdica tendrá un efecto positivo en la intención de utilizar la EBC.

Utilidad percibida

Como se mencionó, la utilidad percibida se emplea para evaluar en qué medida una persona cree que su desempeño laboral aumentará al utilizar un sistema informático en particular. Numerosos investigadores han proporcionado evidencias sobre el impacto de la utilidad percibida en la intención de uso por parte de los usuarios al recurrir a un sistema de aprendizaje. El CBAAM también supone que la concentración, la curiosidad y el disfrute del alumno aumentarán como resultado del uso de un sistema útil, lo que conduce a las siguientes hipótesis:

  • H2: La utilidad percibida tendrá un efecto positivo en la intención de utilizar la EBC.

  • H3: La utilidad percibida tendrá un efecto positivo en la percepción lúdica.

Facilidad de uso percibida

De igual forma, se discutió que la facilidad de uso percibida se utiliza para medir la creencia de la persona de que usar un sistema informático no requiere esfuerzo. Investigaciones anteriores demostraron que la facilidad de uso percibida tiene un efecto directo en la utilidad percibida y en la intención de uso (Venkatesh & Davis, 1996). Asimismo, el CBAAM supone que la facilidad de uso percibida tendrá un impacto positivo en la percepción lúdica, debido a que un sistema que se puede utilizar sin mucho esfuerzo permitirá a los usuarios emplearlo sin ningún tipo de molestia. Para los efectos anteriores de la facilidad de uso percibida, se establecieron las siguientes hipótesis:

  • H4: La facilidad de uso percibida tendrá un efecto positivo en la intención de utilizar la EBC.

  • H5: La facilidad de uso percibida tendrá un efecto positivo en la utilidad percibida.

  • H6: La facilidad de uso percibida tendrá un efecto positivo en la percepción lúdica.

Autoeficacia informática

La autoeficacia informática se define, según Compeau y Higgins (1995), como las percepciones que el individuo tiene sobre su capacidad para utilizar las computadoras. Ya que trabajos anteriores han demostrado un vínculo significativo entre la autoeficacia informática y la facilidad de uso percibida, se observa que la autoeficacia informática no solo influye directamente en la facilidad de uso percibida, sino que también ejerce un impacto indirecto en la intención de uso. Con base en estos hallazgos, se planteó la siguiente hipótesis:

  • H7: La autoeficacia informática tendrá un efecto positivo en la facilidad de uso percibida.

Influencia social

La influencia social se puede definir como el efecto de la opinión de las personas, la influencia de los superiores y de los compañeros. Esta se compone de tres elementos: norma subjetiva (SN), imagen y voluntariedad. Para su medición, modelos previos (como TRA, TPB, C-TAM-TPB y TAM2)1 han empleado constructos como factores sociales (MPCU),2 imagen (IDT)3 y norma subjetiva (Venkatesh et al., 2003). TAM2 indica que la norma subjetiva y la imagen influyen en cómo los usuarios perciben la utilidad de un sistema; sin embargo, la norma subjetiva no impacta en la intención de uso si el uso del sistema es voluntario. UTAUT, por su parte, considera la influencia social como uno de los cuatro constructos principales que afectan directamente la intención de uso.

En el modelo CBAAM se asume que la influencia social impacta en la utilidad percibida. Esta conclusión se fundamenta en la observación de que los estudiantes, al sentirse inseguros al usar una EBC, son influenciados por las opiniones de sus amigos y colegas. De igual forma, a menudo discuten la utilidad percibida y su valor agregado como un tema principal. Debido a que la EBC en CBAAM es voluntaria, TAM2 sugiere que no tiene impacto en la intención de uso, razón por la cual el CBAAM no investigó su efecto en este aspecto. Por lo tanto, la única hipótesis planteada sobre la influencia social es:

  • H8: La influencia social tendrá un efecto positivo en la utilidad percibida.

Condiciones facilitadoras

Las condiciones facilitadoras (CF) se definen como el conjunto de factores que influyen en la creencia de una persona para llevar a cabo un procedimiento. Estos factores incluyen varios aspectos, como el soporte técnico o en línea, señalado por Terzis y Economides (2011), y recursos como el tiempo y el dinero. En el contexto del modelo CBAAM, las CF se conciben como el apoyo proporcionado durante el uso de una evaluación basada en computadora. Esto implica que si los usuarios encuentran dificultades al utilizar una EBC deben recibir el apoyo necesario para superar estos obstáculos, el cual puede incluir la asistencia de un experto para responder preguntas y dudas de los estudiantes, especialmente en un entorno universitario. Por las razones anteriores, se planteó la siguiente hipótesis:

  • H9: Las condiciones facilitadoras tendrán un efecto positivo en la facilidad de uso percibida.

Expectativa de meta

En el ámbito de la enseñanza a distancia, varios estudios, como los de Smith et al. (2003), han subrayado la importancia de la autodirección y la orientación hacia los objetivos. Se ha propuesto que la autogestión del aprendizaje refleja el grado en que una persona se considera capaz de participar en el aprendizaje autónomo y mantener la autodisciplina. Respecto a la aceptación de la tecnología, la orientación de los objetivos de aprendizaje ha sido identificada como un constructo influyente en la aceptación del aprendizaje. En el modelo CBAAM se introdujo un nuevo concepto denominado expectativa de meta (EM), inspirado en los estudios mencionados.

La EM representa la creencia de una persona en su propia preparación para utilizar una EBC y se divide en dos aspectos: las evaluaciones sumativas y formativas. En el caso de la evaluación sumativa, la primera dimensión evalúa la satisfacción del estudiante con su nivel de preparación, sin enfocarse en aspectos cualitativos o cuantitativos. La segunda dimensión contempla el nivel de éxito deseado por cada estudiante, basándose en sus expectativas previas al examen sobre el rendimiento en función de su estudio y la dificultad percibida de la evaluación. Así, cada estudiante establece una meta relacionada con un porcentaje específico de respuestas correctas que considera satisfactorio.

Se considera que la EM ejerce una influencia significativa en la utilidad percibida, aunque esta relación varía según el tipo de evaluación. En el caso de la evaluación sumativa, impacta de manera positiva en la utilidad percibida, ya que permite a los estudiantes comprender y responder las preguntas de manera efectiva. En contraste, en la evaluación formativa el valor principal reside en la retroalimentación que ofrece la EBC para facilitar el aprendizaje de los estudiantes. En este contexto, la EM puede tener un impacto negativo en la utilidad percibida, puesto que los estudiantes se enfocan más en aprender que en evaluar sus conocimientos. Además, el modelo CBAAM postula que una EM alta conduce a una mayor concentración y disfrute durante la interacción con la EBC, lo que mejora la percepción lúdica. Si los estudiantes están preparados de forma adecuada y confían en su desempeño, es probable que se involucren más profundamente con el sistema y disfruten la experiencia. Con base en estos conceptos, se formulan las siguientes hipótesis:

  • H10: La expectativa de meta tendrá un efecto positivo en la utilidad percibida.

  • H11: La expectativa de meta tendrá un efecto positivo en la percepción lúdica.

Contenido

El último constructo del modelo CBAAM es el contenido, considerado por Wang (2003) como un factor crucial en la satisfacción de los alumnos. Este concepto examina si el contenido está actualizado, si es suficiente y útil y si satisface las necesidades de los usuarios. En CBAAM se contemplan dos dimensiones del contenido: el contenido del curso y el contenido de las preguntas. Se entiende que el contenido del curso influye significativamente en la utilidad percibida y en la percepción lúdica de la EBC, determinando su utilidad, interés y nivel de dificultad. Asimismo, el contenido de las preguntas se analiza en términos de claridad, facilidad de comprensión y relación con el contenido del curso. Estas dimensiones son específicas de este modelo y difieren de cómo otros han tratado el contenido. Por lo tanto, el modelo CBAAM asume que el contenido influirá en la utilidad percibida, la percepción lúdica, la expectativa de meta y la intención de uso, lo que se refleja en las siguientes hipótesis:

  • H12: El contenido tendrá un efecto positivo en la utilidad percibida.

  • H13: El contenido tendrá un efecto positivo en la percepción lúdica.

  • H14: El contenido tendrá un efecto positivo en la expectativa de meta.

  • H15: El contenido tendrá un efecto positivo en la intención de uso de la EBC.

En resumen, la figura 1 muestra el marco conceptual del modelo CBAAM y las relaciones hipotéticas entre los constructos adoptados.

MÉTODO

Este trabajo es un estudio cuantitativo de alcance explicativo, se llevó a cabo en una universidad privada ubicada en una zona urbana de la ciudad de Puebla durante los meses de octubre y noviembre de 2022. El muestreo fue no probabilístico, con participantes voluntarios, y los criterios de inclusión fueron: ser estudiante del primer año de ingeniería y estar inscrito en el curso de Física aplicada a la ingeniería. De acuerdo con el protocolo de ética en investigación de la institución, la lectura y aceptación del consentimiento informado fue un requisito indispensable para la participación.

La muestra estuvo integrada por 84 estudiantes, con una edad media de 18.39 años (DE = 0.94) y un rango de 17 a 22 años. En cuanto a la distribución por género, respondieron 26 mujeres (30%), 54 hombres (65%) y cuatro personas optaron por no especificar su género (5%). El procedimiento para la recolección de datos se dividió en dos fases principales, la primera incluyó la administración de un examen basado en computadora, mientras que la segunda consistió en la recopilación de respuestas correspondientes al instrumento CBAAM por parte de los estudiantes.


Figura 1
Modelo de investigación (CBAAM).
Fuente: elaboración propia con base en el modelo CBAAM de Terzis y Economides (2011).

Fase 1. Aplicación de la evaluación basada en computadora

El uso del sistema de evaluación basado en preguntas de opción múltiple con evaluación automática fue simple pues el estudiante únicamente debía elegir la respuesta correcta. El examen se sustentó en el inventario de conceptos de fuerza (force concept inventory, FCI) propuesto por Hestenes et al. (1992) y tuvo una duración de 30 minutos, además de constar de 27 preguntas, cada una con cuatro respuestas posibles. Al finalizar el examen, los participantes respondieron el cuestionario CBAAM, que se describe en la siguiente fase.

Fase 2. Aplicación del instrumento CBAAM

El CBAAM fue desarrollado en inglés por lo que se tradujo al español, donde la adaptación y validación intercultural del instrumento requirió de un proceso metodológico riguroso con el objetivo de lograr la equivalencia entre el original y la versión traducida (Muñiz et al., 2013; Sousa & Rojjanasrirat, 2011), por ello, la traducción fue realizada por expertos en el área de adopción tecnológica y por el centro de idiomas de la universidad en cuestión.

Antes de implementar el instrumento CBAAM se realizó un estudio piloto con 55 estudiantes de ingeniería que cursaban el primer año, con el propósito de conocer su opinión acerca de la claridad de los reactivos y corregir los aspectos que, de forma o fondo, dificultaban la comprensión. A estos participantes se les informó el motivo de la prueba y se les solicitó su consentimiento informado a través de un formulario electrónico.

El instrumento final se aplicó con Formularios de Google para que estuviera disponible una vez que los alumnos terminaran de usar el sistema de evaluación basado en preguntas de opción múltiple con evaluación automática. El instrumento contenía 30 ítems con siete opciones de respuesta: 1 = absolutamente en desacuerdo, 2 = fuertemente en desacuerdo, 3 = en desacuerdo, 4 = ni en acuerdo ni desacuerdo, 5 = de acuerdo, 6 = fuertemente de acuerdo y 7 = absolutamente de acuerdo (ver tabla 1).

Análisis de datos

Para analizar el modelo de adopción de la evaluación basada en computadora, en este trabajo se utilizó el enfoque de modelado de ecuaciones estructurales (SEM) basado en mínimos cuadrados parciales (PLS). Este enfoque es particularmente adecuado para modelos exploratorios y complejos donde las relaciones entre variables latentes son de interés primordial. La implementación de PLS-SEM se realizó siguiendo un conjunto de reglas y pautas establecidas para garantizar la precisión en la estimación estadística del modelo, según lo sugieren Hair et al. (2016). En cuanto al tamaño de la muestra, el valor mínimo recomendado está definido por las dos pautas siguientes: a) diez veces mayor que el número de elementos para el constructo más complejo, y b) diez veces el mayor número de variables independientes que impactan una variable dependiente (Chin, 1998). Debido a que el modelo en cuestión tiene cuatro variables independientes que afectan a una dependiente (utilidad percibida), la muestra de 84 participantes excede el mínimo recomendado de 40.

Tabla 1
Traducción del modelo de aceptación de evaluación basada en computadora (CBAAM)

Fuente: elaboración propia con base en el instrumento CBAAM de Terzis y Economides (2011).

Al seguir las directrices de Sarstedt et al. (2014), la evaluación del PLS-SEM en este estudio se dividió en dos etapas principales. En la primera se examinó la teoría de la medición y se evaluó la fiabilidad y validez de las escalas, incluyendo la fiabilidad compuesta, la varianza extraída media (AVE) para evaluar la validez convergente, y la correlación de las variables latentes para la validez discriminante. Además, se aseguró que cada ítem reflexivo tuviera cargas significativas en su constructo correspondiente. Una vez validado el modelo de medición, se procedió a la segunda etapa, enfocada en el modelo estructural, donde se evaluó la fuerza y significancia de las relaciones estructurales utilizando el coeficiente de determinación (R²) para las variables endógenas, los valores de los efectos de las rutas y sus significancias estadísticas. Asimismo, se realizó un análisis de los efectos indirectos y totales para comprender mejor las interrelaciones entre las variables latentes.

RESULTADOS
Modelo de medición

Para el análisis del modelo, este estudio empleó el software SmartPLS 4.0. La validez convergente es el grado en que los indicadores utilizados para medir una misma variable latente concuerdan (Bagozzi & Yi, 1988; Garson, 2016) y se puede demostrar mediante tres medidas: 1) confiabilidad del ítem de cada medida mediante el uso de carga factorial (> 0,7), 2) confiabilidad compuesta de cada constructo (> 0,7) y 3) la varianza extraída media (> 0,5). La tabla 2 muestra evidencias de la validez convergente. Las cargas factoriales de los elementos del modelo de medición indican niveles aceptables y, de manera similar, la confiabilidad compuesta y la varianza extraída media presentan valores adecuados.

Validez discriminante

Para evaluar la validez discriminante se aplicó el criterio de Fornell y Larcker (1981), considerada una de las medidas más relevantes en este ámbito. En este método se evalúa la raíz cuadrada de la varianza extraída media (AVE) para cada variable latente. La pauta recomendada es que la raíz cuadrada del AVE para cada variable latente debe ser mayor que su correlación con cualquier otra variable latente (Garson, 2016). El texto en negrita en la diagonal de la tabla 3 representa la raíz cuadrada del AVE de cada una de las variables latentes. Los resultados muestran que, en todas las variables latentes, la raíz cuadrada del AVE es mayor que las correlaciones con otras variables (los números debajo de la diagonal), lo que confirma que la validez discriminante está adecuadamente establecida en el estudio.

Modelo estructural y prueba de hipótesis

Para examinar el modelo estructural es esencial investigar la significancia estadística de las relaciones en el modelo (valor t) de las hipótesis de investigación (las estimaciones de la trayectoria) a un nivel de 0,05, así como el coeficiente de determinación (R2) para las variables endógenas de la investigación. El modelo manifiesta 47% de variación en la intención de uso. Los efectos totales de PL (0.389), FDUP (0.543) y C (0.141) son importantes para la explicación de la intención de uso. Además, EM (0.403), AI (0.303), FDUP (0.579) y UP (0.225) representan 47% de la varianza en la percepción lúdica. Por otro lado, FDUP (0.468), AI (0.245), IS (0.366) y EM (0.100) explican 44% de la varianza en la utilidad percibida. AI (0.524) y CF (0.166) representan 38% de la variación en la facilidad de uso percibida. Finalmente, el contenido (0.72) explica 51% de la variación en la expectativa de meta. En la figura 2 y la tabla 4 se resumen los resultados de las hipótesis.

Tabla 2
Resultados para el modelo de medición

Fuente: elaboración propia.

DISCUSIÓN

El propósito de este estudio fue explorar e identificar los factores influyentes en la actitud de los estudiantes hacia el uso de la EBC en la educación superior. Todos los aportes a esta área de investigación ayudan a las instituciones a tener una implementación exitosa de la EBC. Según la literatura y estudios previos como el de Terzis et al. (2013), factores como la utilidad percibida, la facilidad de uso percibida, la percepción lúdica y la importancia percibida son cruciales para la intención de utilizar la EBC.

Tabla 3
Validez discriminante del modelo de medición

Fuente: elaboración propia.


Figura 2
Coeficientes de trayectoria del modelo de investigación (CBAAM).
Fuente: elaboración propia con base en el modelo CBAAM de Terzis y Economides (2011).

Tabla 4
Resultados de la prueba de hipótesis

Nota: *p < 0.10, **p < 0.05, ***p < 0.01. Fuente: elaboración propia.

Los resultados del estudio indican que la percepción lúdica impacta directamente en la intención de uso. Por otro lado, se identificó que la utilidad percibida, la facilidad de uso percibida, la autoeficacia informática, la influencia social, las condiciones facilitadoras, la expectativa de meta y el contenido tienen impactos indirectos en la intención de uso (ver tabla 5).

Tabla 5
R2 y efectos directos, indirectos y totales

Nota: *p < 0.10, **p < 0.05, ***p < 0.01. Fuente: elaboración propia.

Resulta interesante que el constructo de contenido, empleado por primera vez en este modelo, no mostró un impacto directo en la intención de uso, en contraste con lo sugerido en la hipótesis inicial. También se confirmó únicamente una hipótesis de las propuestas en relación con el contenido: tiene un efecto directo sobre la utilidad percibida, la percepción lúdica y la expectativa de meta, lo que indica una influencia indirecta en la intención de uso. En cuanto a la expectativa de meta, que también se utilizó por primera vez en este modelo, se demostró que los estudiantes encuentran una EBC lúdica cuando tienen buenas expectativas del sistema. Asimismo, el efecto positivo de la influencia social en la utilidad percibida proporcionada por TAM2 fue apoyado por este modelo.

Se puede argumentar que todavía existen brechas significativas a pesar del esfuerzo y la atención sustanciales que se han dedicado a la investigación sobre la adopción de las TIC. El trabajo de Terzis y Economides (2011) representa uno de los pocos estudios enfocados en desarrollar un modelo para comprender la adopción de las evaluaciones electrónicas. En este se identifican y demuestran los constructos clave que influyen en la disposición de los estudiantes para utilizar EBC, aportando una perspectiva significativa en el campo de la evaluación electrónica. La tabla 6 resume los resultados de la presente investigación y de los autores antes mencionados, muestra las 15 hipótesis y si fueron o no respaldadas por el modelo. Los datos obtenidos de este estudio concluyen que los estudiantes tienen mayor probabilidad de utilizar un sistema si este es lúdico, lo que confirma los hallazgos de estudios previos. Igualmente, es más probable que una EBC sea percibida como lúdica cuando es fácil de usar.

CONCLUSIONES

En el presente trabajo se realizó un estudio sobre los factores que influyeron en el comportamiento de los estudiantes en la intención de utilizar una evaluación basada en computadora en la educación superior. El modelo probado y la medición se apoyaron en los datos recopilados. Los resultados de esta investigación demuestran que la percepción lúdica tiene un efecto directo en la intención de usar la EBC, lo cual concuerda con lo reportado por Terzis y Economides (2011) y con investigaciones anteriores sobre la adopción de otras tecnologías (Wang et al., 2009; Ong et al., 2004; Landry et al., 2006). Sin embargo, se encontró que: a) las condiciones facilitadoras y la autoeficacia informática no tienen un efecto directo sobre la facilidad de uso percibida, b) la expectativa de meta y el contenido no tienen un efecto directo sobre la utilidad percibida y c) la utilidad percibida y contenido no tienen un efecto directo sobre la percepción lúdica. Estas relaciones contradicen los resultados de Terzis y Economides (2011).

Tabla 6
Resumen de los resultados de esta investigación y los de Terzis y Economides (2011)

Fuente: elaboración propia.

Un desafío importante al que se enfrenta la implementación de la EBC es la escasez de investigaciones que apunten a identificar una lista completa de constructos conductuales vinculados a su adopción. Diversos estudios optan por diferentes enfoques teóricos respecto a la innovación tecnológica, pero pocos han establecido un puente entre los modelos de adopción de innovaciones más destacados y el proceso de adopción de la EBC. Este estudio tiene implicaciones prácticas, ya que aporta un instrumento con evidencias de confiabilidad y validez para la medición del uso y aceptación de la EBC en el contexto educativo mexicano. Además, permite conocer las formas en que los estudiantes perciben el uso de las TIC específicamente aplicadas al proceso de evaluación.

Por otra parte, desde el punto de vista teórico, al tratarse de una adaptación de un instrumento ya publicado en otro idioma y en otro contexto, permite la comparación de los constructos e indicadores observables, ya que una de las limitaciones más importantes de este tipo de estudios es que se utilizan muestras específicas de estudiantes para expresar sus creencias. Esta es una de las posibles razones por las cuales se encontró que ciertas hipótesis fueron validadas en uno de los modelos, pero no en el otro. A la par, debe considerarse que la época en la que se realizaron los estudios pudo haber influido notablemente en los resultados, debido a que la familiaridad y la predisposición hacia la tecnología han evolucionado a lo largo del tiempo.

Este estudio concluye que es más probable que un sistema sea utilizado por los estudiantes si es lúdico, y que la EBC tiende a ser percibida como lúdica cuando es útil y fácil de usar. Por último, el modelo de aceptación estudiado para la EBC explica aproximadamente 47% de la varianza de la intención para usar EBC, por lo que se recomienda investigar otras variables que afectan la intención de uso y aplicar el modelo en otros contextos para mayor confirmación.

Supplementary material
AGRADECIMIENTOS

Este trabajo fue realizado con el apoyo de la beca Conacyt 769631 .

REFERENCIAS
Al-Qdah, M. & Ababneh, I. (2017). Comparing Online and Paper Exams: Performances and Perceptions of Saudi Students. International Journal of Information and Education Technology, 7(2), 106-109. https://doi.org/10.18178/ijiet.2017.7.2.850
Bagozzi, R. P. & Yi, Y. (1988). On the evaluation of structural equation models. Journal of the academy of marketing science, 16(1), 74-94. https://doi.org/10.1007/BF02723327
Chau, K. Y.; Law, K. M. & Tang, Y. M. (2021). Impact of Self-Directed Learning and Educational Technology Readiness on Synchronous E-Learning. Journal of Organizational and End User Computing (JOEUC), 33(6), 1-20. https://doi.org/10.4018/JOEUC.20211101.oa26
Chin, W. W. (1998). The partial least squares approach to structural equation modeling. Modern methods for business research, 295(2), 295-336. http://www.researchgate.net/publication/232569511
Compeau, D. R. & Higgins, C. A. (1995). Computer self-efficacy: development of a measure and Initial test. MIS Quarterly, 19(2), 189-211. https://doi.org/10.2307/249688
Davis, F. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly , 13(3), 319-340. https://doi.org/10.2307/249008
Fornell, C. & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing research, 18(1), 39-50. https://doi.org/10.2307/3151312
Garson, G. D. (2016). Partial least squares: Regression and structural equation models. Statistical Associates Publishers.
Granic, A. & Marangunic, N. (2019). Technology acceptance model in educational context: A systematic literature review. British Journal of Educational Technology, 50(5), 2572-2593. https://doi.org/10.1111/bjet.12864
Hair, J. J. F.; Hult, G. T. M.; Ringle, C. & Sarstedt, M. (2016). A primer on partial least squares structural equation modeling (PLS-SEM). Sage Publications.
Hestenes, D.; Wells, M. & Swackhamer, G. (1992). Force concept inventory. The Physics Teacher, 30(3), 141-158. https://doi.org/10.1119/1.2343497
Imtiaz, A. & Maarop, N. (2014). A Review of Technology Acceptance Studies in the Field of Education. Jurnal Teknologi, 69(2), 2180-3722. https://doi.org/doi:10.11113/jt.v69.3101
Joint Information Systems Committee (JISC). (2007). Effective practice with e-assessment: An overview of technologies, policies and practice in further and higher education. https://people.cs.vt.edu/shaffer/cs6604/Papers/eAssessment.pdf
Jordan, S. (2013). E-assessment: Past, present and future. New Directions, 9(1), 87-106. https://oro.open.ac.uk/38536/3/SEJ%20New%20Directions%202013%20d3.pdf
Kundu, A. & Bej, T. (2021). Experiencing e-assessment during covid-19: an analysis of Indian students’ perception. Higher Education Evaluation and Development, 15(2), 114-134. https://doi.org/10.1108/heed-03-2021-0032
Landry, B. J.; Griffeth, R. & Hartman, S. (2006). Measuring student perceptions of blackboard using the technology acceptance model. Decision Sciences Journal of Innovative Education, 4(1), 87-99. http://dx.doi.org/10.1111/j.1540-4609.2006.00103.x
Mo, D. Y.; Tang, Y. M.; Wu, E. Y. & Tang, V. (2022). Theoretical model of investigating determinants for a successful Electronic Assessment System (EAS) in higher education. Education and Information Technologies, 27(9), 12543-12566. https://doi.org/10.1007/s10639-022-11098-1
Moon, J. y Kim, Y. (2001). Extending the TAM for a world-wide-web context. Information & Management, 38(4), 217-230. https://doi.org/10.1016/S0378-7206(00)00061-6
Muñiz, J.; Elosua, P. & Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157. https://doi.org/10.7334/psicothema2013.24
Nikou, S. A. & Economides, A. A. (2017). Mobile-based assessment: Investigating the factors that influence behavioral intention to use. Computers & Education, 109, 56-73. https://doi.org/10.1016/j.compedu.2017.02.005
Ong, C. S.; Lai, J. Y. & Wang, Y. S. (2004). Factors affecting engineers’ acceptance of asynchronous e-learning systems in high-tech companies. Information & Management, 41(6), 795-804. http://dx.doi.org/10.1016/j.im.2003.08.012
Sarstedt, M.; Ringle, C. M.; Smith, D.; Reams, R. & Hair, J. F. (2014). Partial least squares structural equation modeling (PLS-SEM): A useful tool for family business researchers. Journal of Family Business Strategy, 5(1), 105-115. https://doi.org/10.1007/978-3-319-05542-8_15-2
Scherer, R.; Siddiq, F. & Tondeur, J. (2019). The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers’ adoption of digital technology in education. Computers & Education, 128, 13-35. https://doi.org/10.1016/j.compedu.2018.09.009
Smith, P. J.; Murphy, K. L. & Mahoney, S. E. (2003). Towards identifying factors underlying readiness for online learning: an exploratory study. Distance Education, 24(1), 57-67. https://doi.org/10.1080/01587910303043
Sousa, V. D. & Rojjanasrirat, W. (2011). Translation, adaptation and validation of instruments or scales for use in cross-cultural health care research: A clear and user-friendly guideline. Journal of Evaluation in Clinical Practice, 17(2), 268-274. https://doi.org/10.1111/j.1365-2753.2010.01434.x
Tang, Y. M.; Chen, P. C.; Law, K. M. Y.; Wu, C. H.; Lau, Y. Y.; Guan, J.; He, D. & Ho, G. T. S. (2021). Comparative analysis of Student’s live online learning readiness during the coronavirus (covid-19) pandemic in the higher education sector. Computers & Education , 168. https://doi.org/10.1016/j.compedu.2021.104211
Terzis, V. & Economides, A. A. (2011). The acceptance and use of computer based assessment. Computers & Education , 56(4), 1032-1044. https://doi.org/10.1016/j.compedu.2010.11.017
Terzis, V.; Moridis, C. N. & Economides, A. A. (2012a). How student’s personality traits affect Computer Based Assessment Acceptance: Integrating BFI with CBAAM. Computers in Human Behavior, 28(5), 1985-1996. https://doi.org/10.1016/j.chb.2012.05.019
Terzis, V.; Moridis, C. N. & Economides, A. A. (2012b). The effect of emotional feedback on behavioral intention to use computer based assessment. Computers & Education , 59(2), 710-721. https://doi.org/10.1016/j.compedu.2012.03.003
Terzis, V.; Moridis, C. N. & Economides, A. A. (2013). Continuance acceptance of computer based assessment through the integration of user’s expectations and perceptions. Computers & Education , 62, 50-61. https://doi.org/10.1016/j.compedu.2012.10.018
Timmis, S.; Broadfoot, P.; Sutherland, R. & Oldfield, A. (2016). Rethinking assessment in a digital age: opportunities, challenges and risks. British Educational Research Journal, 42(3), 454-476. https://doi.org/10.1002/berj.3215
Venkatesh, V. & Davis, F. D. (1996) A Model of the Antecedents of Perceived Ease of Use: Development and Test. Decision Science, 27, 451-481. https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1540-5915.1996.tb00860.x
Venkatesh, V.; Morris, M. G.; Davis, G. B. & Davis, F. D. (2003) User Acceptance of Information Technology: Toward a Unified View. MIS Quarterly , 27, 425-478. https://doi.org/10.2307/30036540
Wang, Y. (2003). Assessment of learner satisfaction with asynchronous electronic learning systems. Information & Management , 41(1), 75-86. https://doi.org/10.1016/S0378-7206(03)00028-4
Wang, Y. S.; Wu, M. C. & Wang, H. Y. (2009). Investigating the determinants and age and gender differences in the acceptance of mobile learning. British Journal of Educational Technology , 40(1), 92-118. https://doi.org/10.1111/j.1467-8535.2007.00809.x
Notes
CÓMO CITAR ESTE ARTÍCULO:
Torres Kauffman, J. G.; Olmos Pineda, I. y González Calleros, J. M. (2024). Aceptación y uso de la evaluación basada en computadora en estudiantes universitarios. Apertura, 16(1), 40-55. http://doi.org/10.32870/Ap.v16n1.2476
1 TRA: teoría de la acción razonada; C-TAM-TPB: combinación de TAM y TBP; TAM2 es una extensión del modelo TAM original.
2 MPCU: modelo de utilización de la PC.
3 IDT: teoría de la difusión de innovaciones.

Figura 1
Modelo de investigación (CBAAM).
Fuente: elaboración propia con base en el modelo CBAAM de Terzis y Economides (2011).
Tabla 1
Traducción del modelo de aceptación de evaluación basada en computadora (CBAAM)

Fuente: elaboración propia con base en el instrumento CBAAM de Terzis y Economides (2011).
Tabla 2
Resultados para el modelo de medición

Fuente: elaboración propia.
Tabla 3
Validez discriminante del modelo de medición

Fuente: elaboración propia.

Figura 2
Coeficientes de trayectoria del modelo de investigación (CBAAM).
Fuente: elaboración propia con base en el modelo CBAAM de Terzis y Economides (2011).
Tabla 4
Resultados de la prueba de hipótesis

Nota: *p < 0.10, **p < 0.05, ***p < 0.01. Fuente: elaboración propia.
Tabla 5
R2 y efectos directos, indirectos y totales

Nota: *p < 0.10, **p < 0.05, ***p < 0.01. Fuente: elaboración propia.
Tabla 6
Resumen de los resultados de esta investigación y los de Terzis y Economides (2011)

Fuente: elaboración propia.
Buscar:
Contexto
Descargar
Todas
Imágenes
Scientific article viewer generated from XML JATS by Redalyc