Investigación
Recepción: 01 Diciembre 2020
Recibido del documento revisado: 22 Febrero 2021
Aprobación: 05 Mayo 2021
DOI: https://doi.org/10.21703/0718-5162.v21.n45.2022.015
Resumen: La deserción universitaria se ha tornado una problemática de alto interés público, dado los recursos que el Estado y las familias invierten en la formación de los jóvenes chilenos. Es por esto, que el objetivo del presente estudio es modelar un sistema de alerta temprana para prevenir la deserción académica mediante el análisis del rendimiento académico. La investigación es de tipo cuantitativa, no experimental predictiva, considerando una estrategia asociativa. La muestra se obtuvo de la cohorte de estudiantes que ingresaron a primer año en 2014 vía Prueba de Selección Universitaria Chilena (N=739), realizando los análisis diferenciados según las cuatro facultades que conforman una universidad pública chilena. Se obtuvieron modelos predictivos usando modelamiento logístico y estableciendo un punto de cohorte -éxito/no éxito- académico para todas las facultades. De acuerdo con los análisis, en dos facultades se aplicó como metodología la curva ROC para obtener un criterio de discriminación y detección. Sin embargo, en la Facultad de Filosofía y Educación en el primer semestre, no fue posible generar un modelo. Se concluye que los modelos presentan capacidad predictiva de acuerdo con el porcentaje de clasificación de estudiantes en riesgo académico.
Palabras clave: Modelo estadístico, estimación estadística, deserción académica, rendimiento académico.
Abstract: University desertion has become a problem of high public interest, given the resources that the State and families invest in the training of young Chileans. For this reason, the objective of this study is to model an early warning system to prevent academic dropouts through the analysis of academic performance. The research is of a quantitative, non-experimental predictive type, considering an associative strategy. The sample was obtained from the cohort of students who entered the first year in 2014 via the Chilean University Selection Test (N = 739), performing the differentiated analysis according to the four faculties that make up a Chilean public university. Predictive models were obtained using logistic modeling and established an academic -success/no-success- cohort point for all faculties. According to the analysis, the ROC (Receiver operating characteristic) curve was applied as a methodology in two faculties to obtain a discrimination and detection criterion. However, in the Faculty of Philosophy and Education in the first semester, it was not possible to generate a model. It is concluded that the models present predictive capacity according to the percentage of students in academic risk classification.
Keywords: Statistical models, statistical inference, academic dropout, academic performance.
1. Introducción
El avanzado desarrollo tecnológico y creación de modelos de productividad innovadores han generado un desafío sustancial en las competencias que se deben desarrollar en la formación de profesionales de hoy en día, de esta manera, Sutcliffe, Chan y Nakayama (2005) indican que estas competencias son esenciales al permitir integrarse adecuadamente en el mundo laboral. Dicho panorama ha provocado reflexiones a nivel gubernamental y educacional para confluir en este nuevo proceso, es así, que las investigaciones en educación han sido fundamentales para dar lineamientos en distintas unidades académicas, tales como la creación de nuevas mallas curriculares, adaptación y/o creación de metodologías de enseñanza-aprendizaje, como también análisis de deficientes o escasas habilidades adquiridas a nivel escolar, debido a que, como lo señalan Icarte y Labate (2016) en su estudio, estas conllevan en fracasos académicos, provocando frustraciones, bajas autoestimas, aumento en el tiempo de egreso o titulación, mayores costos tanto para el estudiante o grupo familiar como para el estado, o lo que es más preocupante, deserción de las carreras.
Dentro de la región de Latinoamérica, países como Argentina, Brasil y México cuentan con un gran número de universidades y se encuentran dentro de las mejores posicionadas en América Latina y el Caribe, los cuales reportan un alto nivel de matrícula, no obstante, como contrapartida, González, Uribe y González (2005) reportan de estos países índices muy altos de deserción, particularmente en los primeros años de las carreras. Además, estos autores indican que hay una tendencia alrededor del 57% de deserción en este grupo de países, de modo especifico en las Universidades miembro del consorcio ACACIA en el Módulo Cultiva; a saber, Colombia, Chile, Nicaragua, Perú y Brasil.
Por su parte, el Estado de Chile, a través de su Ministerio de Educación ha realizado desde el año 2009 variados cambios a nivel país, entre los cuales, Icarte y Labate (2016) destacan los cambios en las mallas curriculares de cada uno de los niveles escolares, dando mayor énfasis a la criticidad y argumentación en la formación de los estudiantes. Estos cambios han generado un sinfín de procesos, y nuevas exigencias en el ejercicio de la profesión docente y cursos de perfeccionamiento, para dar apoyo a nuevos conceptos y/o metodologías.
Respecto a la formación docente, el informe final de investigación “Desarrollo sobre Habilidades Básicas en Lenguaje y Matemáticas en Egresados de Pedagogía” realizado en 5 universidades chilenas de la región metropolitana, revela que este proceso de cambios ha presentado dificultades debido a escasas habilidades cognitivas, falta o carencias de habilidades relacionadas con el lenguaje escrito y/o verbal, y falta de habilidades matemáticas básicas en el razonamiento lógico (Larrondo, Lara, Figueroa, Rojas y Caro, 2007). Tales dificultades se evidencian en los resultados promedios obtenidos para las distintas cohortes en las pruebas de diagnóstico que realiza anualmente la Universidad Metropolitana de Ciencias de la Educación (UMCE), donde se muestra que en “la prueba de habilidades de lenguaje, el promedio obtenido por estudiantes que ingresan al primer semestre en la institución en los años 2013, 2014 y 2015 fue de 69,43%, 75,14% y 70,73% respectivamente” (UMCE, 2015, p. 4), mientras que para “la prueba de habilidades de matemáticas en los mismos periodos, los promedios fueron de 69,80%, 69,98%, y 65,89% respectivamente” (UMCE, 2015, p. 5).
Antecedentes reportados por el Sistema de Información de Educación Superior (SIES) indican que la retención al primer año “en el año 2007 fue de 62,5% para los Centros de Formación Técnica, de 58,1% para los Institutos Profesionales y de un 75% para las Universidades” (Lara, Elizalde y Rolando, 2014, p. 1). Estas cifras aumentaron el año 2017 según lo reporta la misma institución recientemente, indicando que para los tres tipos de instituciones de educación superior, la retención al primer año alcanzó “un 68,7% para los Centros de Formación Técnica, un 70,9% para los Institutos Profesionales y de un 78,7% para las Universidades” (MINEDUC, 2018, p. 2).
Referente a la retención institucional del primer año, la UMCE reporta que la cohorte 2014 su retención de primer año fue de un “85,7% y para la cohorte 2015 fue de un 79,8%” (UMCE, 2016, p. 53). No obstante, para la cohorte 2014 este porcentaje baja a un “66,8% al tercer año de retención, mientras que, para la cohorte 2015, al tercer año baja a un 58,1%” (UMCE, 2016, p. 56).
De esta manera, el fenómeno de la deserción toma relevancia, lo cual se ha venido constatando desde la década de los noventa (Meca, Rabasa, Sobrino y López-Espín, 2020; MINEDUC, 2018; Nagy y Molontay, 2021). De acuerdo con Miranda y Guzmán (2017), esto ha traído consigo desafíos cuando se trata de mantener y/o aumentar la retención de estudiantes en las instituciones y/o en los programas de estudio a los que ingresaron, generando diferentes acciones.
Al respecto, teorías explicativas sobre la deserción universitaria, dan cuenta de motivos relacionados con características personales, frustraciones que generan rendimientos académicos deficientes (Kilian, Loose y Kelava, 2020), como también motivos económicos (Colas, Findeisen y Sachs, 2020; Xiao, Porto y Mason, 2020), principalmente cuando el estudiante proviene de niveles socioeconómicos medios o principalmente bajos (Blanco, Meneses y Paredes, 2018), donde a pesar de tener apoyo a través de distintas becas de arancel, el medio en el que coexisten les exige generar ingresos para contribuir al medio familiar (Donoso y Cancino, 2007), minimizando los tiempos de preparación en su proceso académico.
A partir del año 2000, investigadores chilenos han realizado la revisión de teorías que presentan diferentes modelos explicativos para la deserción en la educación superior, que reúnen aportes sustanciales para comprender el contexto chileno (Barrios, Meneses, Paredes y Silva, 2011; Bello et al., 2020; Chacón y Roldán, 2021; Díaz, 2018; Donoso y Schiefelbein, 2018; Rodríguez y Zamora, 2021; Velasco y Mireya, 2016). Himmel (2002) establece que al menos el 50% de los estudiantes que ingresan a la educación superior abandonan sus estudios antes de lograr el título profesional o grado académico, y plantea una discusión del fenómeno de la deserción en los ámbitos sociales, psicológicos y personal, entre otros. En esta línea, de acuerdo con Arancibia y Trigueros (2018) entre los componentes comprometidos en la deserción universitaria estarían las notas de enseñanza media, ranking de notas, y en menor medida los puntajes de la Prueba de selección universitaria PSU (actualmente prueba transición universitaria PTU), nivel de ingreso económico familiar, ayuda estudiantil, índice de vulnerabilidad del colegio, calidad de la universidad, el tipo de carrera al cual accede el estudiante, además de las calificaciones obtenidas por los estudiantes en secundaria, el género, y el currículo académico de las carreras.
Asimismo, estudios pilotos realizados por Henríquez y Escobar (2016) orientados a la detección de manera temprana de estudiantes que ingresan a la UMCE con escasas habilidades en el ámbito lingüístico y matemático, principalmente con mínimos elementos básicos de razonamiento lógico. Evidencian que sus resultados obtenidos fueron efectivos para identificar estudiantes con debilidades en estos aspectos por medio de un proceso de detección que se realizó mediante modelos de regresión logístico utilizando variables de entrada en el proceso de postulación a la universidad. En tanto, otro estudio realizado por Saldaña y Barriga (2010) en una universidad ubicada en una región de la zona sur de Chile, se afirma que, previamente al ingreso a la universidad, los factores que más impactan en la deserción son los ingresos familiares y el puntaje obtenido por el alumno en la PSU de Lenguaje y en la de Matemática. Una vez que el estudiante ingresaba a la universidad, se suman a las variables anteriores el promedio semestral del estudiante, la cantidad de créditos aprobados que el estudiante acumula en cada semestre y el porcentaje de financiamiento que habría obtenido para cubrir los costos de arancel anual de su carrera.
El Centro de Estudios del Ministerio de Educación, utilizando propuestas metodológicas planteadas por Barrios et al. (2011), muestra resultados para identificar las variables asociadas a la deserción, entre las que se destacan la acreditación de la institución, la vocación (definida por el número de preferencia del estudiante al elegir su carrera), y ayudas estudiantiles (becas y créditos), las que son relevantes en la permanencia dentro de la educación superior. En tanto, el Centro de Microdatos (2008), realizó un estudio sobre causas de la deserción universitaria y dentro de sus resultados establecieron que una de las causas principales de la deserción, es el rendimiento académico junto con otros factores como género, habilidades básicas (de lenguaje y matemática) y métodos de estudios, orientación vocacional, metodologías de enseñanza por parte de los docentes, entre otros.
En concordancia con lo anterior, Viale (2015) en una aproximación teórica sobre la deserción universitaria, aborda los modelos teóricos actuales que permiten entender la deserción y retención presentando 5 grandes componentes. El primero es el enfoque psicológico, que diferencia las características psicológicas entre aquellos estudiantes que abandonan sus estudios y quiénes no. El segundo es el enfoque sociológico, el cual enfatiza los factores externos que afectan la deserción, los cuales se suman a los psicológicos. El tercero es el enfoque económico, que considera como eje principal la evaluación de costo-beneficio. El cuarto es el enfoque organizacional, que se aproxima a la deserción a través de las características de la propia institución y de los servicios que ofrece a sus estudiantes. Y, por último, el quinto es el enfoque interaccionista, que se centra en los aspectos organizacionales que afectan la retención estudiantil, como por ejemplo la interacción entre docente y estudiante.
Finalmente, al considerar que los factores que influyen en la deserción universitaria son multisistémicos, toma preponderancia las estrategias utilizadas por las diferentes instituciones de educación superior para aumentar la retención de sus estudiantes. Por esta razón, estudios previos (Catterall, 1998; Goldfinch y Hughes, 2007; Tinto, 1975) demuestran que los programas de inserción y apoyo académico que incluyen elementos tales como la nivelación de conocimientos, las estrategias de estudio y el desarrollo personal, están altamente relacionados con la permanencia de sus estudiantes en la universidad. Es por ello, que, para diseñar programas de inserción y apoyo académico, se hace necesario realizar evaluaciones certeras que permitan predecir qué factores influyen en la deserción académica, y con ello, realizar intervenciones efectivas y eficientes en la población de riesgo, con el objetivo de presentar alerta temprana y disminuir la probabilidad de deserción de dichos estudiantes.
2. Método
El presente estudio corresponde a una investigación empírica no experimental, ya que no se realizó manipulación de las variables explicativas sino que se trabajó en su contexto natural. De tipo predictiva, puesto que las condiciones de levantamiento de información hizo posible el estimar el resultado la variable respuesta (rendimiento académico) por medio de las variables explicativas, considerando una estrategia asociativa, ya que para predecir el comportamiento de una variable por medio de otras, estas deben presentar una correlación significativa (Ato, López-García y Benavente, 2013), bajo un enfoque cuantitativo.
2.1 Objetivo
La presente investigación tiene como objetivo el modelar un sistema de alerta temprana respecto del rendimiento académico de los y las estudiantes de primer año de la Universidad Metropolitana de Ciencias de la Educación en Santiago de Chile.
2.2 Población
La información utilizada corresponde a los antecedentes de todos los estudiantes matriculados en carreras de pregrado en la Universidad Metropolitana de Ciencias de la Educación en el año 2014, información entregada por la misma institución. Por tanto, en el análisis se consideró a toda la población correspondiente a la cohorte de ingreso 2014, siendo información de segunda fuente.
Entre las características de los estudiantes a nivel descriptivo, el promedio de edad en el primer semestre fue de 19,7 años, mientras que en segundo semestre fue de 19,6 años, presentando en ambos semestres una edad mínima de 17 años y una edad máxima de 50 años. Con respecto al sexo a nivel general, en el primer semestre los hombres representaron el 48,2% (366 casos), y las mujeres el 51,8% (392 casos). Asimismo, las facultades que presentan una mayor proporción de hombres fueron la Facultad de Artes y Educación Física, y la Facultad de Ciencias Básicas (con 67,8% y 58,4% de hombres respectivamente), y las facultades con mayor proporción de mujeres fueron la Facultad de Filosofía y Educación, y Facultad de Historia, Geografía y Letras (con 85,3% y 54,5% de mujeres respectivamente). En el caso del segundo semestre las proporciones se mantienen.
2.3 Procedimiento de recogida y análisis de datos
En el proceso de operacionalización de la variable dependiente -Rendimiento- en el presente estudio consideró solo las asignaturas de especialidad, debido a que la evidencia ha demostrado que son las más críticas en cuanto a reprobación (Centro de Microdatos, 2008). Se trabajó con la variable dependiente de forma continua y de forma categórica (punto corte 4,3).
Respecto a las variables independientes consideradas en la investigación estuvieron ajustadas a la información entregada por la institución. Del total de variables explicativas que contenían las bases de datos entregadas, y considerando estudios previos relacionados con la temática reprobación (Arancibia y Trigueros, 2018; Centro de Microdatos, 2008), se decidió inicialmente la utilización de 48 variables. No obstante, previo al modelamiento estadístico, se sometió a estas 48 variables - categóricas/cuantitativas- a un análisis de correlación bivariada, con el fin de identificar cuáles de estas variables se correlacionaba con la variable de interés. Resultando para el estudio 17 variables que se muestran en la Tabla 1.
En cada modelo se introdujeron todas las variables que presentaron una correlación significativa en el análisis bivariado. Luego, se fueron eliminando del modelo las variables que presentan un coeficiente que no es significativo. Esta eliminación se realizó mediante el método “hacia atrás”. Finalmente, cuando ya se tuvo un set de variables en el modelo, se testeó el cumplimiento de los supuestos de normalidad, homocedasticidad, colinealidad e independencia de residuos.
Debido a que no se cumplieron algunos de estos supuestos en el modelo de regresión múltiple estándar, es que se evaluó la factibilidad de construir un modelo logístico multivariado, donde se modeló la probabilidad de que un estudiante obtenga un buen/mal rendimiento, tanto en el primer semestre como en el segundo semestre, definiendo como punto de corte una nota promedio semestral de 4,3, de una escala de 1,0 a 7,0. El modelo logístico que se construyó para cada unidad de la Universidad es el siguiente;
Donde;
p: probabilidad de que el rendimiento del alumno sea igual o mayor al punto de corte. x_1, x_2,…, x_P , variables independientes o predictoras, por ejemplo, puntaje PSU, depen-
dencia del establecimiento, etc. β_0, β_1, β_2,…, β_P , coeficientes respectivos de las variables predictivas. La exponencial de estos coeficientes refleja el cambio en la probabilidad de que el rendimiento sea igual o mayor a un punto de corte cuando cambia en una unidad la variable independiente.
Posteriormente, cuando ya se tuvo el set de variables en el modelo con todos sus coeficientes significativos, se realizó test de bondad de ajuste del modelo, y multicolinealidad entre las variables explicativas, capacidad predictiva de cada modelo a través del cálculo del porcentaje de observaciones que quedaban bien clasificadas tomando 0,5 como punto de corte para la probabilidad de que el estudiante tenga rendimiento igual o mayor al punto de corte.
Es dable señalar, que en los análisis estadísticos fueron excluidos los casos que no contaron con puntaje PSU y aquellos casos que presentaron un puntaje inferior al puntaje mínimo exigido por la carrera correspondiente (inferior a 600 puntos).
El análisis de datos se realizó usando análisis correlacionales y explicativos. Para ello se empleó el programa IBM SPSS v.25, en su versión en español, considerando un nivel de significancia del 10%.
Por último, la investigación contó con la aprobación ética del Centro de Acompañamiento al Aprendizaje UMCE, Proyecto UMC-1406 y considera las Leyes Nº19.628 (Biblioteca del Congreso Nacional, 1999) y Nº20.120 (Biblioteca del Congreso Nacional, 2006).
3. Resultados
Este apartado se divide en cuatro análisis correspondientes a cada una de las cuatro facultades que fueron estudiadas, tanto para el primer y segundo semestre del año 2014.
3.1 El Facultad de Artes y Educación Física
En el primer semestre de 2014 el número de estudiantes de la Facultad de Artes y Educación Física fue de 211, de los cuales el 15,2% (32 estudiantes) obtuvieron rendimiento deficiente, mientras que el 84,8% (179 estudiantes) obtuvo un rendimiento favorable.
En el análisis de correlación, cinco variables se relacionaron significativamente con el rendimiento académico (Ingreso, Edad, Años entre egreso de Enseñanza Media e ingreso a UMCE, PSU Matemática, e Índice de vulnerabilidad).
Como se observa en la Tabla 2, al ajustar un modelo con este set de variables se logró un modelo logístico con las variables Ingreso y Edad, con una significancia inferior al 0,10 (ingreso=0,016; edad=0,029 y; constante=0,007).
De esta manera, la probabilidad de éxito en el rendimiento académico se modela en función de las variables “Ingreso” y “Edad” del estudiante, de lo cual se puede observar que, a mayor ingreso económico del estudiante, este presentará mayor probabilidad de obtener mejor rendimiento académico (1,23 veces más chance de obtener un buen rendimiento). Sin embargo, a mayor edad del estudiante la probabilidad de obtener un mayor rendimiento académico disminuye. En síntesis, el ingreso que tenga el estudiante actúa como un factor protector, mientras que la edad sería un factor de riesgo.
Como se puede observar en la Tabla 3, se obtuvo un 84,4% de observaciones correctamente clasificadas. Además, el modelo resultante identifica 3 estudiantes en riesgo (alerta), de los cuales sólo uno de ellos obtuvo un rendimiento bajo el umbral definido. En consecuencia, no detectó como casos a alertar a 31 alumnos/as que obtuvieron realmente un rendimiento menor al umbral.
De esta manera, en vista de la baja capacidad predictiva del modelo anterior para detectar aquellos estudiantes que obtendrán un rendimiento inferior a lo esperado (umbral), se implementó una metodología alternativa que entregó mejores resultados. Esta metodología se basa en la construcción de la Curva ROC la cual se representa gráficamente la sensibilidad versus 1-especificidad según varía el umbral de decisión. En este caso, la sensibilidad es la capacidad para detectar un rendimiento sobre el umbral (conocido también como la fracción de verdaderos positivos), y la especificidad es la capacidad de detectar un rendimiento bajo el umbral (conocido también como la fracción de verdaderos negativos). El criterio se basa en encontrar el punto que genera la mayor diferencia entre la sensibilidad y 1-especificidad-.
Utilizando este método, se construyó un criterio en base a las dos variables que quedaron en el modelo, es decir, Ingreso y Edad. El criterio resultante de esta metodología fue que; se estima que el alumno está en riesgo de bajo rendimiento, si el Ingreso Bruto Familiar es menor o igual a $720.000 pesos y además, su edad es superior a 20 años; y, en caso contrario, se estima que el alumno obtendrá un rendimiento superior al umbral.
Una vez aplicado este criterio a la base de datos 2014, se puede observar en la Tabla 4 que con este criterio se obtiene un 80% de correcta clasificación. Por otro lado, de los 32 alumnos que se deben alertar, el criterio detecta un 31,3% (10 alumnos).
En el caso del segundo semestre de 2014, el número de estudiantes de la Facultad de Artes y Educación Física fue de 88, de los cuales el 20,5% (18 estudiantes) obtuvieron rendimiento deficiente, y el 79,5% (70 estudiantes) obtuvo un rendimiento favorable.
En el análisis correlacional, siete variables correlacionaron significativamente con el rendimiento académico (Ingreso, Edad, PSU Lenguaje, Dependencia, PH Lenguaje, H_5: Porcentaje de Logro Habilidad Lenguaje "Relaciona el uso del vocabulario al tema de un texto (establecimiento de relaciones semánticas)", y Rendimiento Primer Semestre).
En la Tabla 5, al ajustar un modelo con este set de variables se logró un modelo logístico solamente con las variables Dependencia y Rendimiento Primer Semestre, presentando estas junto con la constante una significancia inclusive inferior al 0,05 (ingreso=0,007; edad=0,000 y; constante=0,000).
Para efectos del modelo, la variable Dependencia está codificada como 1 para los establecimientos Particulares Pagados (EPP) o Particulares Subvencionados (EPS) y 0 para establecimientos Municipales (EMUN). Esto indicaría que, sí un estudiante proviene de un EPP o EPS, la probabilidad de que su rendimiento en el segundo semestre sea mayor al umbral, es 8,049 veces mayor a la probabilidad de que su rendimiento en el segundo semestre sea menor al umbral. En este sentido, si el alumno/a obtiene un punto más en su rendimiento en el segundo semestre, la probabilidad de que su rendimiento en el segundo semestre sea mayor al umbral, es 8,098 veces mayor a que no lo sea.
Como se puede apreciar en esta Tabla 6, se obtuvo un 86,4% de observaciones correctamente clasificadas. Además, el modelo resultante identifica 12 alumnos/as en riesgo (alerta), de los cuales un 50% posee un rendimiento bajo el umbral definido.
3.2 Facultad de Ciencias Básicas
En el primer semestre de 2014 el número de estudiantes de la Facultad de Ciencias Básicas fue de 149, de los cuales el 52,3% (78 estudiantes) obtuvieron rendimiento deficiente, mientras que el 47,7% (71 estudiantes) obtuvo un rendimiento favorable.
De igual manera, al realizar el análisis inicial, ocho variables correlacionaron significativamente con el rendimiento académico (Edad, Años entre egreso de Enseñanza Media e ingreso a UMCE, Promedio Enseñanza Media, NEM, PSU Matemática, PSU Ciencias, PSU, H_B: Prueba de Habilidades Matemática "Orientación espacial y geometría euclideana” e Índice de vulnerabilidad).
Al ajustar el modelo, se observa en la Tabla 8 donde se logró un modelo logístico que considera solamente las variables Edad, Promedio Enseñanza Media, PSU Matemática, PSU Ciencias e Índice de vulnerabilidad, presentando estas variables una significancia inferior al 0,10 (Edad=0,007; Promedio Enseñanza Media=0,008; PSU Matemática=0,055; PSU Ciencias=0,003; Índice de Vulnerabilidad=0,014 y; constante=0,000).
Como se puede observar en esta Tabla 7, a medida que un estudiante tiene un año más de edad, la probabilidad de que su rendimiento sea mayor al umbral es aproximadamente 1,3 veces mayor a la probabilidad de que su rendimiento sea menor al umbral. Por otro lado, a medida que el alumno/a tiene un punto más en su Promedio de Enseñanza Media, la probabilidad de que su rendimiento sea mayor al umbral es aproximadamente 6 veces mayor a que no lo sea. En el caso de las variables PSU Matemática y Ciencias se puede observar que mientras más alto sea este puntaje, mayor será la probabilidad de obtener un rendimiento mayor al umbral por sobre la probabilidad de obtener un rendimiento menor al umbral. Lo contrario sucede con el Índice de Vulnerabilidad, es decir, a medida que aumenta este índice, menor será la probabilidad de obtener un rendimiento mayor al umbral.
En la Tabla 8, se puede observar que hay un 73,2% de correcta clasificación. El modelo resultante identifica 90 alumnos en riesgo (alerta) de los cuales un 71,1% posee un rendimiento bajo el umbral.
En el segundo semestre de 2014 el número de estudiantes de la Facultad de Ciencias Básicas fue de 143, de los cuales el 44,1% (63 estudiantes) obtuvieron rendimiento deficiente, mientras que el 55,9% (80 estudiantes) obtuvo un rendimiento favorable.
En el análisis inicial correlacional, diez variables resultaron relacionadas con el rendimiento académico (Promedio Enseñanza Media, NEM, Ranking, PSU Matemática, PSU Ciencias, PSU, PH Lenguaje, Prueba de Habilidades de Matemáticas -Es significativa al considerar la variable dicotómica-, H_B: Prueba de Habilidades Matemática "Relaciona el uso del vocabulario al tema de un texto (establecimiento de relaciones semánticas)", Rendimiento del Primer Semestre de 2014, y Rendimiento del Primer Semestre de 2014 (dicotomizada con el umbral en 4,3). Cabe destacar, que estas dos últimas variables (rendimiento) no se incluyeron al mismo tiempo, sino que se probó cuál de ellas tuvo mejor funcionamiento en el modelo.
En la Tabla 9, al ajustar un modelo con las variables se logró un modelo logístico que considera las variables NEM, PSU Matemática, y Rendimiento Primer Semestre Dicotómico, presentando estas junto con la constante una significancia inferior al 0,10 (NEM=0,023; PSU Matemáticas=0,038; Rendimiento Primer Semestre Dicotómico=0,000 y; constante=0,003).
En la tabla se muestra que, mientras más alto es el NEM o el puntaje PSU en Matemática del estudiante, la probabilidad de que su rendimiento sea mayor al umbral es mayor a la probabilidad. Por otro lado, si el rendimiento del estudiante en el segundo semestre es mayor al umbral (rendimiento dicotómico igual a 1), la probabilidad de que su rendimiento en el segundo semestre sea mayor al umbral es 6,381 veces mayor a la probabilidad de que no lo sea.
En la Tabla 10, es posible observar que hay un 72,7% de correcta clasificación. El modelo resultante identifica 68 alumnos/as en riesgo (alerta), de los cuales un 67,6% posee un rendimiento bajo el umbral.
3.3 Facultad de Filosofía y Educación
En el primer semestre de 2014 el número de estudiantes de la Facultad de Filosofía y Educación fue de 163, de los cuales el 3,7% (6 estudiantes) obtuvieron rendimiento deficiente, mientras que el 96,3% (157 estudiantes) obtuvo un rendimiento favorable.
En el análisis inicial, no se observaron correlaciones significativas entre el rendimiento dicotómica y todo el resto de variables, no fue posible generar ningún modelo.
En el segundo semestre de 2014 el número de estudiantes de la Facultad de Filosofía y Educación fue de 134, de los cuales el 19,4% (26 estudiantes) obtuvieron rendimiento deficiente, mientras que el 80,6% (108 estudiantes) obtuvo un rendimiento favorable.
En el análisis correlacional, diez variables correlacionaron significativamente con el rendimiento académico (Sexo, Promedio Enseñanza Media, NEM, Ranking, PSU Lenguaje, PSU Matemática, PSU Historia, PSU Ciencias, PSU, Prueba de Habilidades de Matemáticas, H_C: Porcentaje de Logro Habilidad Matemática).
En la Tabla 11, al ajustar un modelo se logró un modelo logístico que considera las variables Sexo y Prueba de Habilidades de Matemática, presentando estas junto con la constante una significancia inferior al 0,10 (Sexo=0,000; Prueba de Habilidades de Matemáticas=0,011 y; constante=0,010).
Para efectos del modelo, la variable Sexo está codificada como 1 para las mujeres y 0 para los hombres. Por lo tanto, lo que indica estos resultados es que si esta frente a una estudiante, la probabilidad de que su rendimiento en el segundo semestre sea mayor al umbral es 27,212 veces mayor a la probabilidad de que su rendimiento en el segundo semestre sea menor al umbral. Por otro lado, mientras mayor sea su logro en la Prueba de Habilidades de Matemática de cada estudiante, la probabilidad de que su rendimiento sea mayor al umbral es mayor a la probabilidad a que no lo sea.
En la Tabla 12 puede observar que hay un 89,3% de correcta clasificación. El modelo resultante identifica 11 alumnos en riesgo (alerta) de los cuales un 44,4% posee un rendimiento bajo el umbral.
3.4 Facultad de Historia, Geografía y Letras
En el primer semestre de 2014 el número de estudiantes de la Facultad de Historia, Geografía y Letras fue de 236, de los cuales el 25% (59 estudiantes) obtuvieron rendimiento deficiente, mientras que el 75% (75 estudiantes) obtuvo un rendimiento favorable.
El análisis inicial, cuatro variables correlacionaron significativamente con el rendimiento académico (Sexo, Promedio Enseñanza Media, NEM, y Ranking).
En la Tabla 13, se muestra que al ajustar el modelo dio como resultado a las variables Sexo y Promedio Enseñanza Media, con una significancia inferior al 0,10 (Sexo=0,001; Promedio Enseñanza Media=0,011 y; constante=0,004).
Para efectos del modelo, la variable Sexo está codificada como 1 para las mujeres y 0 para los hombres. Por lo tanto, estos resultados indican que, sí se está frente a una estudiante, la probabilidad de que su rendimiento en el primer semestre supere el umbral es de 0,338 vez la probabilidad de que su rendimiento en el primer semestre sea inferior al umbral. Por otro lado, mientras mayor sea el Promedio Enseñanza Media, la probabilidad de que su rendimiento sea mayor al umbral es 3,501 veces mayor a la probabilidad de que no lo sea.
En la Tabla 14 se aprecia, que en este modelo se obtiene un 75,8% de observaciones correctamente clasificadas. El modelo resultante identifica 10 estudiantes en riesgo (alerta) de los cuales un 60% obtuvieron un rendimiento bajo el umbral. No obstante, no detectó como casos a alertados a 53 alumnos/as que obtuvieron realmente un rendimiento menor al umbral.
En el segundo semestre de 2014 el número de estudiantes de la Facultad de Historia, Geografía y Letras fue de 134, de los cuales el 38,8% (52 estudiantes) obtuvieron rendimiento deficiente, mientras que el 61,2% (82 estudiantes) obtuvo un rendimiento favorable.
En el análisis correlacional, siete variables fueron significativas con el rendimiento académico (Sexo, Promedio Enseñanza Media, NEM, Ranking, PSU Historia, Quintil, Rendimiento del Primer Semestre de 2014, y Rendimiento del Primer Semestre de 2014 (dicotomizada con el umbral). Cabe destacar, que estas dos últimas variables no se incluirán juntas, sino que se probó cuál de ellas tuvo mejor funcionamiento en el modelo.
No obstante, al intentar construir un modelo para el rendimiento del segundo semestre de esta facultad se presentaron problemas en el test de bondad de ajuste. Por esta razón, se decidió implementar la metodología mencionada anteriormente, basada en la construcción de la Curva ROC.
Dado que en esta facultad no fue posible obtener un modelo predictivo, se optó por construir un criterio considerando las variables NEM (notas de enseñanza media) y rendimiento del primer semestre (promedio de notas) ya que estas dos variables resultaron significativas en los análisis. Dicho criterio se estableció de la siguiente manera; se estima que el/la estudiante está en riesgo de presentar un bajo rendimiento en el segundo semestre, si el promedio de notas del primer semestre es inferior a 4,69 y además, su puntaje NEM es inferior a 576; y, en caso contrario, se estima que el estudiante obtendrá un rendimiento superior al umbral.
Una vez aplicado este criterio a la base de datos 2014 se obtiene la Tabla 15, en la cual se observa que con este criterio se obtiene un 76,1% de correcta clasificación. Por otro lado, de los 52 estudiantes que se deben alertar, el criterio detecta un 50% (26 alumnos).
4. Discusión y conclusiones
Este estudio tuvo como objetivo principal el modelar un sistema de alerta temprana de deserción académica mediante el rendimiento académico de los y las estudiantes de primer año de la Universidad Metropolitana de Ciencias de la Educación. Se pretendía, por tanto, construir modelos predictivos de rendimiento del primer y segundo semestre por medio de regresiones lineales con el fin de dar respuesta a dicho objetivo. No obstante, no fue posible cumplir con algunos de los requisitos de normalidad, homocedasticidad, colinealidad, independencia de residuos. En consecuencia, se procedió a construir modelos logísticos, lo cual implicó definir un umbral de corte para identificar bajos rendimientos (4.3) en base al promedio general de estudiantes de la UMCE. Cabe mencionar, que en algunos casos no se logró aplicar esta metodología de regresión logística debido a causas que han sido explicitadas previamente, utilizándose una metodología basada en la construcción de la curva ROC.
Dentro de los principales resultados, destaca que la Prueba de Habilidades de Lenguaje no aporta información a los modelos predictivos respecto del rendimiento de los y las estudiantes en ninguna de las facultades, tanto en el primer como en el segundo semestre. Del mismo modo, la Prueba de Habilidades de Matemática influye solo en el rendimiento del segundo semestre de estudiantes de la Facultad de Filosofía y Educación, contribuyendo sólo a uno de los siete modelos generados. De lo anterior, se podría inferir a modo de hipótesis que las habilidades medidas en estas pruebas no incidirían en el rendimiento del estudiante en los dos primeros semestres y/o que no se manifestarían en su progreso. Se recomienda, por tanto, revisar esta prueba de diagnóstico, ya sean las habilidades transversales o por facultad, de tal manera que esta se relacione de mejor manera con la variable rendimientoo
A su vez, dentro de las variables que aportaron a los modelos predictivos de rendimiento, tales como. edad, sexo, promedio enseñanza media, PSU matemáticas coinciden con aquellas que se destacan dentro de la literatura como variables predictores de habilidades en el ámbito lingüístico y matemático (Henríquez y Escobar, 2016), y como consecuencia se relacionan con rendimiento, en particular la variable promedio de enseñanza media ha sido utilizada de manera muy recurrente en los últimos años, ya que destaca a estudiantes con características relacionadas con hábitos de estudio, responsabilidad y disciplina en la organización y cumplimiento de laborales (Saldaña y Barriga, 2010). El Centro de Microdatos (2008) menciona que variables de rendimiento con resultados deficientes afectan resultados posteriores inclusive provocando la deserción, lo que se constata en esta investigación.
Por otra parte, debido a las características y habilidades propias de cada estudiante que dirigen la elección vocacional, las cuales se evidencian en las diferentes facultades, no fue posible generar un modelo único para la universidad como se pretendía inicialmente. De esta manera, se trabajó con cada facultad de forma independiente para primer y segundo semestre, a fin de respetar la diversidad plasmada en la identidad de cada facultad, al hacer esto, la cantidad de estudiantes disponibles se redujo para los análisis respectivos. Debido a lo anterior, se presentó una limitación en la cantidad de casos estudiados en la investigación, puesto que, si el tamaño de la muestra hubiese sido mayor, el análisis podría haberse generado no solo por facultad, sino también por carrera. Esto se podría lograr si se ampliara el número de años de ingreso. Por esta razón, se sugiere sistematizar el levantamiento de la información relevante para estos análisis a lo largo de los años y volver a realizar estos análisis. Esto permitiría, además, actualizar los modelos construidos en este estudio, algo que debe hacerse en caso de cualquier cambio en las variables involucradas para seguir usando este mismo tipo de análisis para identificar estudiantes en riesgo de deserción.
En otro orden de cosas, existe una diferencia entre la cantidad de estudiantes que ingresan el primer semestre, pero que no se mantienen en el segundo semestre, destacando la Facultad de Ciencias Básicas con una deserción de solo el 5%. Sin embargo, esta facultad se posiciona con un alto porcentaje de estudiantes que tuvieron bajo rendimiento el primer semestre entre los cuales desertan el segundo semestre, por lo que se podría inferir que en esta facultad el bajo rendimiento podría ser un factor de deserción. En cambio, la Facultad de Artes y Educación Física presenta la mayor deserción cercana al 40%, y al analizar a los y las estudiantes que no se mantienen el segundo semestre, no se observa que estos tengan un mal rendimiento en el primer semestre, por lo que no se podría afirmar que el bajo rendimiento sea la causal de deserción en esta facultad. Es dable indicar que, en las otras facultades, al igual que en la Facultad de Artes y Educación Física, el bajo rendimiento académico no pareciese incidir en la deserción en el segundo semestre.
Por consiguiente, se sugiere complementar los análisis predictivos con información cualitativa que permita enriquecer los resultados, y de esta forma, identificar de mejor manera a estudiantes con posible riesgo de bajo rendimiento académico y de deserción, con el objeto de asegurar que este proceso de acompañamiento preventivo de tipo académico se complemente incluyendo otros factores como los emocionales, económicos, tecnológicos, o de otra índole (Blanco et al., 2018; Goldfinch y Hughes, 2007; Henríquez y Escobar, 2016), permitiendo así, que estas intervenciones lleguen a la mayoría de los estudiantes que efectivamente lo necesiten.
Finalmente, se sugiere para futuras investigaciones estandarizar el registro de los diferentes datos involucrados en este tipo de estudios facilitando el análisis, lo cual se hace necesario al momento de implementar sistemas de protocolos informáticos requeridos. Esta estandarización implicaría definiciones de; formatos de archivos, formato de campos, valores válidos, marcos de orientación en la toma de decisiones frente a valores inválidos o vacíos y de registros duplicados, entre otros.
Referencias
Arancibia, R., y Trigueros, C. (2018). Aproximaciones a la deserción universitaria en Chile. Educação e Pesquisa, 44. https://doi.org/10.1590/s1678-4634201708165743.
Ato, M., López-García, J. J., y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología / Annals of Psychology, 29(3), 10381059. https://doi.org/10.6018/analesps.29.3.178511.
Barrios, A., Meneses, F., Paredes, R., y Silva, M. (2011). Financial Aid and University Attrition in Chile. Documento de trabajo. Departamento de Ingeniería Industrial, Pontificia Universidad Católica de Chile.
Bello, F. A., Kóhler, J., Hinrechsen, K., Araya, V., Hidalgo, L., y Jara, J. L. (2020). Using machine learning methods to identify significant variables for the prediction of first-year Informatics Engineering students dropout. 2020 39th International Conference of the Chilean Computer Science Society (SCCC), 1-5. https://doi.org/10.1109/SCCC51225.2020.9281280.
Biblioteca del Congreso Nacional. (1999, agosto 28). Ley No19.628, Protección de la Vida Privada. Recuperado de https://www.bcn.cl/leychile/navegar?idNorma=141599.
Biblioteca del Congreso Nacional. (2006, septiembre 22). Ley No20.120, Investigación Científica en el Ser Humano, su Genoma, y prohibe la clonación Humana. Recuperado de https://www.bcn.cl/leychile/navegar?idNorma=253478.
Blanco, C., Meneses, F., y Paredes, R. (2018). Más allá de la deserción: Trayectorias académicas en la educación superior en Chile. Calidad en la Educación, 0(49), 137-187. https://doi.org/10.31619/caledu.n49.579.
Catterall, J. S. (1998). Risk and Resilience in Student Transitions to High School. American Journal of Education, 106(2), 302-333. https://doi.org/10.1086/444184.
Centro de Microdatos. (2008). Estudio sobre causas de la deserción universitaria (pp. 1-142). Departamento de Economía, Universidad de Chile. Recuperado de http://www.opech.cl/educsuperior/politica_acceso/informe_final_causas_desercion_universitaria.pdf.
Chacón, É., y Roldán, G. (2021). Factores que inciden sobre el rendimiento académico de los estudiantes de primer ingreso del curso Matemática General del Instituto Tecnológico de Costa Rica. Uniciencia, 35(1), 265-283. https://doi.org/10.15359/ru.35-1.16.
Colas, M., Findeisen, S., y Sachs, D. (2020). Optimal Need-Based Financial Aid. Journal of Political Economy, 129(2), 492-533. https://doi.org/10.1086/711952.
Díaz, C. (2018). Modelo conceptual para la deserción estudiantil universitaria chilena. Estudios Pedagógicos, 34(2), 65-86. https://doi.org/10.4067/S0718-07052008000200004.
Donoso, S., y Cancino, V. (2007). Caracterización socioeconómica de los estudiantes de educación superior. Calidad en la Educación, 0(26), 203-244. https://doi.org/10.31619/caledu.n26.240.
Donoso, S., y Schiefelbein, E. (2018). Análisis de los modelos explicativos de retención de estudiantes en la universidad: Una visión desde la desigualdad social. Estudios Pedagógicos, 33(1), 7-17. https://doi.org/10.4067/S0718-07052007000100001.
Goldfinch, J., y Hughes, M. (2007). Skills, learning styles and success of first-year undergraduates. Active Learning in Higher Education, 8. https://doi.org/10.1177/1469787407081881.
González, F., Uribe, D., y González, S. (2005). Estudio sobre la repitencia y deserción en la educación superior chilena (pp. 7-8). Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe. Recuperado de https://www.inacap.cl/tportal/portales/tp4964b0e1bk102/uploadImg/File/REPITENCIA_DESERCION_L_E_ Gonzalez_2005.pdf.
Henríquez, N., y Escobar, D. (2016). Construcción de un modelo de alerta temprana para la detección de estudiantes en riesgo de deserción de la Universidad Metropolitana de Ciencias de la Educación. Revista Mexicana de Investigación Educativa, 21, 1221-1248.
Himmel, E. (2002). Modelo de análisis de la deserción estudiantil en la educación superior. Calidad en la Educación, 0(17), 91-108. https://doi.org/10.31619/caledu.n17.409.
Icarte, G. A., y Labate, H. A. (2016). Methodology for Reviewing and Updating a Curriculum Design of a University Career Incorporating the Concept of Competency-based Learning. Formación universitaria, 9(2), 03-16. https://doi.org/10.4067/S0718-50062016000200002.
Kilian, P., Loose, F., y Kelava, A. (2020). Predicting Math Student Success in the Initial Phase of College With Sparse Information Using Approaches From Statistical Learning. Frontiers in Education, 5. https://doi.org/10.3389/feduc.2020.502698.
Lara, A., Elizalde, O.L., y Rolando, M.R. (2014). Retención de primer año en Educación Superior. Programas de pregrado. Ministerio de Educación - SIES. Recuperado de http://bibliotecadigital.mineduc.cl//handle/20.500.12365/4624.
Larrondo, T., Lara, M., Figueroa, C., Rojas, M., y Caro, A. (2007). Desarrollo de habilidades básicas en lenguaje y matemáticas en egresados de pedagogía. Un estudio comparativo | Consejo Nacional de Educación. Consejo Nacional de Educación. Recuperado de https:// www.cned.cl/proyecto-de-investigacion/desarrollo-de-habilidades-basicas-en-lenguaje-y-matematicas-en-egresados.
Meca, I., Rabasa, A., Sobrino, E., y López-Espín, J. J. (2020). Early Warning Methodology for dropping out of university degrees. Eighth International Conference on Technological Ecosystems for Enhancing Multiculturality, 245-249. https://doi.org/10.1145/3434780.3436596.
MINEDUC. (2018). Informe retención de 1° año de pregrado. Cohortes 2013-2017. 2-3.
Miranda, M. A., y Guzmán, J. (2017). Análisis de la Deserción de Estudiantes Universitarios usando Técnicas de Minería de Datos. Formación universitaria, 10(3), 61-68. https://doi.org/10.4067/S0718-50062017000300007.
Nagy, M., y Molontay, R. (2021). Comprehensive analysis of the predictive validity of the university entrance score in Hungary. Assessment & Evaluation in Higher Education, 0(0), 1-19. https://doi.org/10.1080/02602938.2021.1871725.
Rodríguez, M., y Zamora, J. A. (2021). Abandono temprano en estudiantes universitarios: Un estudio de cohorte sobre sus posibles causas. Uniciencia, 35(1), 19-37. https://doi.org/10.15359/ru.35-1.2.
Saldaña, M., y Barriga, O. A. (2010). Adaptación del modelo de deserción universitaria de Tinto a la Universidad Católica de la Santísima Concepción, Chile. Revista de Ciencias Sociales(Ve), XVI(4), 616-628.
Sutcliffe, N., Chan, S. S., y Nakayama, M. (2005). A Competency Based MSIS Curriculum. Journal of Information Systems Education, 16(3), 301-310.
Tinto, V. (1975). Dropout from Higher Education: A Theoretical Synthesis of Recent Research. Review of Educational Research, 45(1), 89-125. https://doi.org/10.2307/1170024.
UMCE. (2015). Informe de Seguimiento. Proyecto FF UMC1299 (pp. 4-6). Universidad Metropolitana de Ciencias de la Educación.
UMCE. (2016). Anuario estadístico UMCE 2016 (pp. 6-89). Universidad Metropolitana de Ciencias de la Educación. Recuperado de http://www.umce.cl/joomlatools-files/docmanfiles/universidad/transparencia/anuario_estadistico_umce_2016.pdf.
Velasco, Q., y Mireya, I. (2016). Análisis de las causas de deserción universitaria. instname: Universidad Nacional Abierta y a Distancia. Recuperado de http://repository.unad.edu.co/ handle/10596/6253.
Viale, G. (2015). Una aproximación teórica a la deserción estudiantil universitaria. Recuperado de https://repositorioacademico.upc.edu.pe/handle/10757/344275.
Xiao, J. J., Porto, N., y Mason, I. M. (2020). Financial capability of student loan holders who are college students, graduates, or dropouts. Journal of Consumer Affairs, 54(4), 13831401. https://doi.org/10.1111/joca.12336.
Notas de autor
*Correspondencia: natalia.henriquez_c@umce.cl