Introducción

La evaluación de la educación superior a través de pruebas estandarizadas es una herramienta muy importante para el análisis del sector ( De la Rosa, Gamboa, & Guerrero, 2018). Permite examinar su evolución histórica, sus diferencias territoriales y socioeconómicas ( Castro-Ávila, Ruiz-Linares & Guzmán-Patiño, 2018), el desempeño según modalidad ( Ortiz Romero, Gómez Villarreal, & Arias Velandia, 2015), y los distintos campos de conocimiento ( Delahoz-Domínguez, Fontalvo, & Zuluaga, 2020; Vanegas, 2013; Garizabalo Dávila, 2012). Este tipo de evaluación externa de la calidad permite detallar un conjunto de datos y variables de interés para distintos procesos de mejoramiento continuo de la calidad educativa de los programas y las instituciones, así como del proceso de transformación de la educación superior en el contexto de profundos cambios sociales y culturales ( Lydia & de Dios, 2023).

En Colombia, desde la Ley 1324 de 2009 y el respectivo Decreto 3963 del mismo año, se reglamentaron los “Exámenes de Estado” con el fin de construir un sistema de evaluación de la calidad de la educación superior, que implica la obligatoriedad de dos pruebas como requisito de ingreso y egreso al pregrado. Como antecedentes, el Decreto 1781 de 2003 reglamentó las pruebas ECAES, cuya primera aplicación alcanzó a 22 programas de pregrado en 2003 y 55 para 2007 ( Parra Vargas, 2017). Desde el año 2010, la prueba se hace obligatoria para todos los profesionales en su componente genérico y a la fecha cuenta con 42 pruebas específicas ( ICFES, 2023). Hoy día, las denominadas pruebas SABER 11, requisito de ingreso a la educación superior, y SABER-PRO, requisito de egreso, están a cargo del Instituto Colombiano para la Evaluación de la Educación ( ICFES). Así, uno de los objetivos del examen Saber Pro es la producción de indicadores de valor agregado en un esquema de evaluación de competencias acumuladas que permita la comparabilidad entre programas, campos de conocimiento e instituciones, así como su evolución.

Si bien la prueba es un requisito para la obtención del título, se considera más una herramienta de evaluación de las instituciones que del estudiante de manera individual. Estableciendo una escala de medición entre 0 y 300 puntos, provee una visión de conjunto sobre el estudiantado, los programas y las instituciones. El resultado incluye los logros de desempeño en cada una de las cinco competencias genéricas examinadas, comunes a todos los estudiantes de la educación superior, además de los resultados de dos pruebas específicas para Trabajo Social.

En el nivel de pregrado de Trabajo Social, el país cuenta con una amplia oferta de 70 programas activos para el año 2023, pero con una incipiente oferta en formación avanzada: 10 programas disciplinares activos en el nivel de especialización (5) y de maestría (5). Un dato importante para considerar en la evaluación de los resultados de las pruebas estándar SABER-PRO en Trabajo Social es la ubicación en el área de conocimiento denominada Ciencias Sociales y Humanas y el Núcleo Básico de Conocimiento (NBC) denominado Sociología, Trabajo Social y afines, conforme la Resolución 0395 de 2018 en la cual se adoptan los módulos del Sistema Nacional de Información en Educación Superior (SNIES) ( DANE, 2019).

El análisis y la reflexión alrededor de los resultados de las pruebas estándar de la educación superior, en particular para Trabajo Social, y su posibilidad de comparación con el grupo de referencia de Sociología, Trabajo Social y afines, es un ejercicio importante porque constituye una representación de la realidad sobre los resultados educativos, su dinámica en un periodo de tiempo reciente y aporta consideraciones sobre la calidad de la formación profesional.

Metodología

Para el análisis de los resultados de las pruebas SABER-PRO, presentadas por los estudiantes de Trabajo Social al finalizar su formación, se utilizó el Sistema Nacional de Información de la Educación Superior (SNIES) ( Ministerio de Educación Nacional, 2022). Este sistema permite consultar todas las instituciones que ofrecen Trabajo Social en Colombia, incluyendo detalles sobre acreditación de alta calidad, ubicación geográfica, y si son de tipo oficial o no oficial, entre otras variables. Para el año 2021, últimos datos disponibles, el sistema registra un total de 61,580 estudiantes matriculados en el nivel de pregrado en 70 programas activos. De estos programas, solo el 25% cuenta con acreditación de alta calidad.

La base de datos utilizada para el análisis corresponde a los resultados de las pruebas en el periodo 2016-2022, de un total de 34 universidades. Se seleccionaron 17 programas acreditados de alta calidad y, para equilibrar la muestra, se seleccionaron aleatoriamente 17 programas no acreditados, considerando diferentes resultados. La base de datos fue obtenida del ICFES, una institución pública autónoma integrante del Sistema Nacional de Evaluación y representante nacional de evaluación ante la OCDE, la Unesco y la IEA (Asociación Internacional para la Evaluación del Rendimiento Educativo). El ICFES es parte del sistema de aseguramiento de la calidad de la educación superior liderado por el Ministerio de Educación Nacional de Colombia.

La base de datos se refiere específicamente a las cinco competencias genéricas obligatorias para todos los aspirantes a la profesión de Trabajo Social:

• Comunicación escrita

• Razonamiento cuantitativo

• Lectura crítica

• Competencias ciudadanas

• Inglés

Los datos se procesaron en IBM-SPSS® después de una crítica de la información. Se seleccionaron 34 instituciones representativas de los programas en Colombia, 17 con acreditación y 17 no acreditadas, de manera que la exclusión de otras no altera las tendencias generales.

El análisis permitió identificar diferencias significativas en los resultados por tipo de universidad, región geográfica, y condiciones económicas y sociales. Los programas acreditados de alta calidad generalmente mostraron mejores resultados en comparación con los no acreditados. Además, se observaron dificultades particulares en el manejo y análisis de datos, así como en las competencias en inglés, áreas en las que los nuevos profesionales de Trabajo Social presentaron un rendimiento más bajo.

Resultados

El resultado estándar de la prueba SABER-PRO, considerando la media total en el periodo examinado, indica que, en promedio, el rendimiento cuantitativo está 10 puntos por debajo de la mediana, con un promedio de 140,67 puntos. Teniendo en cuenta que el puntaje estándar se mide en una escala de 0 a 300 puntos, la mediana, como punto de corte de referencia, sería de 150 puntos.

En cuanto a las competencias genéricas, los resultados de Trabajo Social superan el promedio nacional del grupo de referencia. Aunque por debajo de la mediana, Lectura Crítica y Comunicación Escrita reportaron las calificaciones más altas, con 148 y 143 puntos respectivamente. En el caso de Comunicación Escrita, se obtuvo la mayor distancia cuantitativa en comparación con los 125 puntos en promedio del grupo de referencia. El resultado en la competencia de Razonamiento Cuantitativo es el más bajo de todo el reporte, con 130 puntos para Trabajo Social y 126 para el grupo de referencia. La competencia en inglés también es bastante baja para todos los programas, representada en una media general de 140 puntos, lo que indica que no se alcanza la meta propuesta por el sistema educativo en esta competencia.

Por otra parte, la acreditación de alta calidad de las 17 universidades analizadas presenta una puntuación de 14 puntos más que aquellas instituciones que no tienen este reconocimiento: 147, 89 puntos contra 133,45 puntos en promedio en el periodo examinado. Las desviaciones estándar también indican que existe mayor homogeneidad entre las instituciones de menor rendimiento en la prueba, reportando un coeficiente de variación de 6.7%, contra una variación de 9.6% de aquellas que sí cuentan con acreditación de alta calidad.

Esta misma consistencia en los bajos resultados se presenta por año de aplicación de la prueba. Desde 2016, cuando se estandariza la escala de calificación y se establece la obligatoriedad de presentación, los datos no muestran una variación significativa que indique cambios estadísticos relevantes. Incluso durante los años de confinamiento por la COVID-19, 2020 y 2021, cuando la prueba se presentó de manera remota, no se observaron cambios drásticos.

Las diferencias estadísticas significativas se mantienen al comparar las universidades no acreditadas con las acreditadas (p<0.01), excepto en 2017, donde las diferencias fueron menos evidentes (p<0.05).

Si bien los datos son consistentes por año, también muestran una regularidad sostenida por institución. Para simplificar el modelo, se tomaron las cinco universidades con el mayor y menor rendimiento en la prueba durante el periodo de referencia.

Las cinco universidades donde Trabajo Social reportaron los mejores resultados, en orden descendente, fueron:

• Universidad Nacional de Colombia

• Universidad Industrial de Santander

• Universidad del Valle

• Universidad de Antioquia

• Colegio Mayor de Cundinamarca

Es importante resaltar que estas cinco universidades son públicas (oficiales), ubicadas en las principales ciudades del país, con cuatro de ellas en la región andina colombiana, todas con acreditación de alta calidad y un promedio por encima de la mediana (>150 puntos).

En el otro extremo de la distribución, las cinco universidades que reportaron el bajo rendimiento en el periodo examinado fueron:

• Universidad de la Guajira

• Universidad Tecnológica del Chocó

• (tres universidades privadas que no se especifican)

Es notable que en este grupo se encuentran dos universidades públicas ubicadas en las regiones Caribe y Pacífico, respectivamente. Todas estas universidades estuvieron por debajo de la mediana durante todo el periodo examinado.

La brecha evidencia las disparidades regionales y el componente territorial que configuran la desigualdad en América Latina, mostrando el mantenimiento de la tendencia divergente entre centro y periferia que tiene un histórico origen racial desde la época colonial ( Cañón Niño & Ramírez Díaz, 2022). Las instituciones de educación superior (IES) con bajas puntuaciones están ubicadas en territorios con predominio de población afrodescendiente o indígena, y en áreas mayormente afectadas por el conflicto armado. Esta segregación se corresponde con los resultados de competencias genéricas en la prueba Saber 11 ( Castro-Ávila, Ruiz- Linares, & Guzmán-Patiño, 2018; Gomez Soler, 2016).

Las competencias genéricas, obligatorias para todos los nuevos profesionales, se complementan, en algunos programas, con pruebas específicas que, por decisión propia, eligen las universidades. En el caso de Trabajo Social, existen dos pruebas específicas: Intervención en Procesos Sociales e Investigación en Ciencias Sociales. Pocas instituciones se acogen a esta prueba adicional: 28 en Intervención y 17 en Investigación.

Las pruebas específicas se aplicaron hasta el año 2019, y después de la pandemia no se han retomado. Si bien los resultados disponibles en el sistema de información indican un mejor rendimiento general en comparación con las pruebas de las cinco competencias obligatorias, estos tampoco alcanzan el punto de corte de referencia (Mediana = 150 puntos).

En la prueba de Intervención en Procesos Sociales, las universidades públicas (y acreditadas de alta calidad) también lideran los resultados. Las universidades Nacional, Antioquia, Valle e Industrial de Santander ocupan los primeros lugares. De manera similar, las universidades de la Guajira y del Chocó, también públicas, presentaron los puntajes más bajos, con una diferencia de 70 puntos entre la primera y la última.

Las puntuaciones en la competencia específica de Investigación en Ciencias Sociales fueron más homogéneas, con un promedio de 148 en el período examinado y una diferencia de 50 puntos entre la puntuación más alta y la más baja. En términos teóricos, las competencias específicas deberían ser mucho más altas debido a las particularidades del programa y el énfasis curricular en Trabajo Social, especialmente en la Intervención en Procesos Sociales. Sin embargo, se mantienen las mismas tendencias cuantitativas: promedios generales por debajo de la mediana esperada y grandes diferencias entre instituciones.

Para el diseño del banco de preguntas de la prueba específica de Intervención en Procesos Sociales, el ICFES solicita la colaboración del Consejo para la Educación en Trabajo Social (CONETS), organismo integrado por las unidades académicas de Trabajo Social de 28 universidades privadas y públicas.

Finalmente, la correlación entre el desempeño en competencias específicas y genéricas permite confirmar la interdependencia entre ellas. El desarrollo de competencias genéricas facilita el desempeño en competencias específicas, pero su falta restringe el logro de las competencias disciplinares.

Discusión

El rendimiento en las pruebas de estado de los egresados de Trabajo Social es muy heterogéneo entre instituciones y regiones en Colombia, lo cual confirma la tendencia general de una educación superior desigual cuando se consideran las variables del desarrollo marcadamente desigual de las regiones en el país ( Castro- Ávila, Ruiz-Linares, & Guzmán-Patiño, 2018). Esta desigualdad se observa al analizar distintos programas universitarios ( Carrascal & Giraldo, 2019) y al considerar diferencias importantes en otras variables de composición de la población universitaria ( Rincón-Baez & Arias-Velandia, 2019).

Los datos disponibles y comparables gracias a la estandarización tanto en la escala de medición como en la aplicación de las mismas pruebas para todos los aspirantes a un título profesional son una herramienta de análisis que permite examinar las tendencias generales de las formaciones. Esto incluye la comparación con pruebas estándar de la educación media ( Quintana, Pardo, Mejia, & Mieles, 2022), una comparabilidad necesaria para identificar el llamado "valor agregado" que aportan tanto la universidad como el programa en las competencias acumulativas del egresado.

En el caso particular de los resultados de Trabajo Social, se consideran dos elementos generalizables. Primero, durante los siete años de reporte estándar (2016-2022), los datos no varían significativamente, lo que indica que no hay cambios importantes en la educación en Trabajo Social. Ni siquiera el confinamiento y la educación remota por la pandemia de COVID-19 produjeron un resultado diferente a lo presentado en el periodo.

El segundo elemento importante es que, en general, los resultados del grupo de referencia (Sociología, Trabajo Social y afines) son bajos comparados con la mediana de la escala de evaluación aplicada para las pruebas. Existe una gran deficiencia en competencias que involucran matemáticas, como el Razonamiento Cuantitativo, y en competencias en un segundo idioma, como el inglés. Esto a pesar de las metas del Estado de lograr que al menos el 20% de los nuevos profesionales alcancen niveles de pre-avanzado o superior ( Alonso C., Estrada, Mueces, & Sandoval Escobar, 2018).

Sin embargo, este resultado debe ser matizado, ya que los estudiantes que ingresan a las ciencias sociales, campo de conocimiento al que adscribe el Trabajo Social, tienen un bajo rendimiento en matemáticas en la educación secundaria y consideran que no es importante para su formación profesional. Adicionalmente, es relevante señalar la feminización del estudiantado de Trabajo Social en Colombia. Los resultados de diversos niveles de Saber y en PISA (2015) muestran que existe una brecha de género a favor de los varones en la competencia de Razonamiento Cuantitativo, agravada en colegios públicos y áreas rurales. Esta tendencia se sostiene en el análisis de los resultados de Saber Pro en ingenierías ( Carrascal & Giraldo, 2019) y en Administración ( Rincón-Baez & Arias-Velandia, 2019). Igualmente, muchos estudiantes de Sociología, Trabajo Social y afines provienen de una formación previa de baja calidad en bilingüismo, a pesar de ser una meta educativa para todo el sistema colombiano, sin que su paso por la universidad logre superar estos dos obstáculos en la formación básica y en las competencias generales de todo profesional ( Rojas & Esparza, 2020).

Conclusiones

Existen diferencias muy significativas en los resultados de las pruebas SABER- PRO entre las universidades que ofrecen la carrera profesional de Trabajo Social en Colombia. El mejor desempeño en competencias genéricas y específicas se concentra en las universidades ubicadas en los ejes de mayor desarrollo económico y social, evidenciando un componente territorial que segrega a la periferia respecto del centro.

Esta discriminación, que data de la época colonial, implica diferencias raciales y de clase social, agravando la brecha para las subregiones con presencia predominante de población afrodescendiente e indígena. No es casualidad que el conflicto armado haya tenido mayor impacto en estas regiones, que presentan los más bajos niveles de desempeño en ambos tipos de competencias, en correlación con los desempeños de SABER 11 ( Gomez Soler, 2016).

Las universidades con acreditación de alta calidad reflejan, en general, un mejor rendimiento académico que aquellas instituciones sin este reconocimiento, aunque la tendencia no es del todo clara. Asimismo, las universidades públicas de alta calidad obtienen mejores resultados.

Sin embargo, el promedio global de Trabajo Social, en los resultados por año en el periodo 2016-2022, está por debajo de la mediana de la escala, es decir, presentan resultados desfavorables con excepción de cinco universidades que están por encima del punto de corte. Esta situación es generalizada en los programas de Sociología, Trabajo Social y afines como grupo de referencia para la profesión.

Los estudiantes, al final de su carrera, deben presentar esta prueba como requisito para la obtención del grado. En Trabajo Social, destaca el rendimiento en competencias como Lectura Crítica, Competencias Ciudadanas y Comunicación Escrita, de conformidad con los ámbitos, roles y perfiles ocupacionales de mayor tradición de la profesión en Colombia. Además, presentan un rendimiento promedio en competencias específicas: Intervención en Procesos Sociales e Investigación en Ciencias Sociales.

En contraste, se observan bajas puntuaciones en inglés y en Razonamiento Cuantitativo. Es decir, los estudiantes logran mayores competencias para los roles tradicionales de su profesión, pero enfrentan un gran reto educativo para mejorar en otras competencias indispensables hoy en día para el ejercicio profesional: la habilidad para comunicarse en inglés y la competencia en manejo de información cuantitativa.

Concretamente, para el caso de las competencias genéricas, este estudio brinda elementos de análisis que constituyen un insumo valioso para las directivas de cada programa. Cada IES puede establecer correlaciones entre los datos de SABER PRO y SABER 11 por cohorte para reconocer el desempeño en la trayectoria del estudiantado que recibe y egresa. Sin lugar a dudas, el análisis del valor agregado es imprescindible para el aseguramiento de la calidad y la cultura autoevaluativa que cada programa debe fomentar.

Referencias

Alonso, C., Estrada, D., Mueces, B. V., & Sandoval Escobar, M. (2018). Análisis de las competencias en segundo idioma en los programas de psicología colombianos. Suma Psicológica, 25(2), 102-132. https://doi.org/10.14349/sumapsi.2018.v25.n2.4

Cañón, N., & Ramírez Díaz, C. (2022). Vigencia del concepto centro-periferia para comprender nuestra realidad líquida. Revista Mexicana de Sociología, 84(2), 323-360. https://doi.org/10.22201/iis.01882503p.2022.2.60280

Carrascal, A. I., & Giraldo, J. J. (2019). Minería de datos educativos: Análisis del desempeño de estudiantes de ingeniería en las pruebas SABER-PRO. Revista Politécnica, 15(19), 128-139. https://doi.org/10.33571/rpolitec.v15n29a10

Castro-Ávila, M., Ruiz-Linares, J., & Guzmán-Patiño, F. (2018). Cruce de las pruebas nacionales Saber 11 y Saber Pro en Antioquia, Colombia: una aproximación desde la regresión geográficamente ponderada (GWR). Revista Colombiana de Educación, 74, 63-79. http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-39162018000100063

DANE. (2019). Clasificación internacional normalizada de la educación. Niveles de educación adaptada para Colombia. Bogotá: DANE. https://www.dane.gov.co/files/sen/normatividad/CINE-N-2011_2019.pdf

De la Rosa, V., Gamboa, M. C., & Guerrero, J. H. (2018). Calidad de la educación superior en Colombia: Eficacia de algunos programas académicos presenciales y a distancia en las pruebas Saber Pro. Bogotá D.C.: Sello Editorial UNAD.

Delahoz-Dominguez, E. J., Fontalvo, T., & Zuluaga, R. (2020). Evaluación de la productividad académica de las competencias ciudadanas en la enseñanza de la ingeniería por medio del índice Malmquist. Formación Universitaria, 13(5), 27-34. https://doi.org/10.4067/S0718-50062020000500027

Garizabalo Dávila, C. M. (2012). Estilos de aprendizaje en estudiantes de enfermería y su relación con el desempeño en las pruebas saber pro. Revista de Estilos de Aprendizaje, 5(9), 1-14. https://doi.org/10.55777/rea.v5i9.950

Gomez, S. (2016). Educational achievement at schools: Assessing the effect of the civil conflict using a pseudo-panel of schools. International Journal of Educational Development, 49, 91-106. https://doi.org/10.1016/j.ijedudev.2016.02.004

ICFES. (2023). Documentación del examen Saber PRO. https://www2.icfes.gov.co/documents/39286/2386780/Documentacion+saber+pro.pdf/a313e9ec-89e8-74c8-5081-9c68b4612de6?version=1.0&t=1648073390699

Lydia, R., & de Dios, M. J. (2023). Programa de fortalecimiento a la calidad educativa en las universidades públicas estatales afiliadas al CUMEX. Revista Universidad y Sociedad, 15(1), 655-663. https://rus.ucf.edu.cu/index.php/ru

Ministerio de Educación Nacional. (2022). Sistema Nacional de Información de la Educación Superior, SNIES. Bases consolidadas. Bogotá: MEN.

Ortiz Romero, D., Gómez Villarreal, E., & Arias Velandia, N. (2015). Resultados en Saber Pro de estudiantes de modalidad presencial y virtual en dos universidades colombianas. Academia y Virtualidad, 8(2), 100-111. https://doi.org/10.18359/ravi.1426

Parra Vargas, E. D. (2017). La educación superior en Colombia. Una mirada a los conceptos de calidad y evaluación. El caso de las pruebas saber pro. Revista Boletín Redipe, 4(9), 95-103. https://revista.redipe.org/index.php/1/article/view/343

Quintana, L. A., Pardo, C. E., Mejia, J. A., & Mieles, Y. M. (2022). Aplicación de las herramientas de análisis de datos para comprobar relaciones entre variables de las pruebas saber 11 y Saber Pro. Revista Mexicana de Análisis de la Conducta. 1-14. https://www.researchgate.net/publication/361021724

Rincón-Baez, W. U., & Arias-Velandia, N. (2019). Brecha de rendimiento académico por género en saber pro en programas de administración en los departamentos de Colombia. Panorama, 13(2), 142-161. https://doi.org/10.15765/pnrm.v13i25.1410

Rojas, B. M., & Esparza, D. M. (2020). B-learning en la enseñanza del idioma inglés como segunda lengua: una revisión sistemática de la literatura. Edutec. Revista Electrónica De Tecnología Educativa, (73), 105-121. https://doi.org/10.21556/edutec.2020.73.1745

Vanegas, Y. (2013). Competencias ciudadanas y desarrollo profesional en matemáticas [Tesis doctoral, Universidad de Barcelona]. https://www.tdx.cat/bitstream/handle/10803/117777/YMVM_TESIS.pdf

IR