Artículos de Investigación

Variables predictoras del desempeño escolar en exámenes estandarizados de inglés: Evidencias desde el examen de Estado en Colombia

Predictors of school performance in standardized tests of English: Evidence from the State Exam in Colombia

Diana Milena Gutiérrez Duque
Escuela Normal Superior Farallones, Colombia
Carlos Alberto Mayora Pernía
Universidad del Valle, Colombia

Variables predictoras del desempeño escolar en exámenes estandarizados de inglés: Evidencias desde el examen de Estado en Colombia

Revista Virtual Universidad Católica del Norte, núm. 62, pp. 33-62, 2021

Fundación Universitaria Católica del Norte

Recepción: 10 Marzo 2020

Aprobación: 03 Diciembre 2020

Resumen: En Colombia se ha incluido un dominio masivo del inglés entre las metas estratégicas, dando pie al programa Colombia Bilingüe y la inclusión de una prueba estandarizada de inglés en el examen de Estado. Este estudio buscó determinar el efecto de diferentes variables institucionales sobre los resultados de esta prueba, a través del método cuantitativo de diseño ex post facto. Se analizaron los resultados en el examen de inglés de 87 instituciones educativas de una de las ciudades más importantes del país. Las variables independientes incluyeron la participación en programas de fortalecimiento del bilingüismo, características institucionales y el desempeño en lectura crítica, mientras el resultado en el componente de inglés fue la variable dependiente. Para el análisis de los datos se utilizaron el ANOVA de una vía y la regresión lineal multivariada. Los resultados muestran que no hay diferencia estadísticamente significativa en el desempeño entre las escuelas beneficiadas por el plan Colombia Bilingüe y aquellas no beneficiadas. Solo la jornada de estudios arrojó resultados significativos. El modelo de regresión demostró que el desempeño en lectura crítica es el mejor predictor de la variable dependiente, lo que sugiere una relación entre las habilidades en la lengua materna y la lengua extranjera.

Palabras clave: Análisis multivariado, Enseñanza del inglés como lengua extranjera, Evaluación, Programa Nacional de Bilingüismo, Pruebas estandarizadas.

Abstract: In Colombia, a massive command of English has been included among the strategic goals, leading to the birth of the Bilingual Colombia program and the inclusion of a standardized test of English within the State Test. This study seeks to determine the effect of different institutional variables on the results of this high-stake test through a quantitative method and ex post facto design. The results in the English test of 87 schools from one of the most important cities in the country are analyzed. The independent variables included participation in programs aiming at strengthening bilingualism, institutional characteristics, and performance in critical reading in Spanish as a first language, while performance in the English component was the dependent variable. One-way ANOVA and multivariate linear regression were used to analyze the data. The findings show that there is no statistically significant difference in performance between schools benefiting from the Bilingual Colombia program and those that do not. Only study shift produced significant results. The regression model demonstrated that performance in critical reading in Spanish is the best predictor of the dependent variable, which suggests a strong relationship between abilities in the first and the foreign language.

Keywords: Multivariate analysis, Teaching English as a foreign language, Assessment, National Bilingualism Program, Standardized tests.

Introducción

Muchos países en América Latina han incluido un dominio masivo del idioma inglés, por parte de sus ciudadanos, entre sus metas estratégicas y de desarrollo (Banfi, 2017; De Mejía, 2005; Sierra-Ospina et al., 2020). Para el logro de esta meta, estos países han implementado políticas educativas y lingüísticas (a menudo denominadas “programas de bilingüismo”) que incluyen capacitación a docentes de inglés de escuelas públicas y privadas; programas de intercambio o inmersión, tanto para estudiantes como docentes; desarrollo de documentos curriculares y materiales instruccionales para la enseñanza del inglés; la adopción de los niveles y estándares del Marco Común Europeo de Referencia para la Enseñanza y Evaluación de Lenguas -en adelante MCER- (Consejo de Europa, 2002); y el uso de pruebas estandarizadas de inglés para la evaluación de los avances y logros de sus programas (Banfi, 2017). En México, el programa se denominó Programa Nacional de Inglés en Educación Básica y, posteriormente, se le cambió el nombre por Estrategia Nacional para el Fortalecimiento del Aprendizaje del Inglés (Pamplon-Irigoyen y Ramírez Romero, 2018); en Panamá, se lanzó el programa Panamá Bilingüe (Ministerio de Educación de Panamá –MEDUCA-, 2017); y en Chile el programa se llamó El inglés Abre Puertas (Abrahams & Silva Ríos, 2017).

Colombia se unió a esta tendencia para “insertar al país en los procesos de comunicación universal, en la economía global y en la apertura cultural”, de acuerdo con el Ministerio de Educación Nacional –MEN- (2006, p. 6). En correspondencia con este propósito, desde el año 2004 se han implementado diferentes programas y acciones para alcanzar la meta de una “Colombia Bilingüe” en inglés y español. Estas acciones tienen su origen en el Plan Nacional de Bilingüismo y las correspondientes estrategias y líneas de acción de dicho plan, y sus actualizaciones a lo largo de los años (Correa & González, 2016; Gómez Sará, 2017).

Una de estas acciones ha sido la denominada focalización, tanto de secretarías de educación municipales o departamentales como de instituciones educativas oficiales (IEO). Que una IEO sea focalizada quiere decir que es considerada prioritaria para recibir los aportes y acciones relacionadas en el plan Colombia Bilingüe, que en los últimos años ha incluido: participación en el programa de co-enseñanza con nativos extranjeros, recepción de los nuevos documentos curriculares producidos y distribuidos por el MEN, recepción de los libros de texto también producidos y distribuidos por el MEN, estímulos a docentes y estudiantes con participación en programas de inmersión, y diagnóstico del nivel de competencia comunicativa en inglés de los docentes.

Dentro de las acciones en el ámbito nacional, desde el año 2006, se incluyó el inglés como un componente fundamental en la prueba de Estado, elaborada y administrada por el Instituto Colombiano para la Evaluación de la Educación o ICFES, mejor conocida como la Prueba Saber 11. Esta prueba evalúa los conocimientos de los estudiantes de grado 11, próximos a culminar la educación secundaria, en diferentes áreas de conocimiento. El componente de inglés es una adaptación de un examen estandarizado internacional, elaborado originalmente por una de las editoriales de materiales y exámenes de inglés más prestigiosas (ICFES, 2017). Para los fines de este trabajo, al componente de inglés de este examen se le denominará simplemente la Prueba Saber 11-inglés.

Además de las acciones nacionales, algunas secretarías de educación municipales (SEM), han lanzado sus propios programas para fortalecer la enseñanza del inglés en sus municipios y regiones. Por lo general, estos programas municipales o departamentales llevan el nombre de la ciudad y el apelativo Bilingüe (por ejemplo, Bogotá Bilingüe, Medellín Bilingüe y Cali Bilingüe). La naturaleza de estos programas es diversa, ya que en algunos casos se limita al acompañamiento y refuerzo de los programas del MEN, mientras que en otros incluye sus propias acciones. En la ciudad de Cali, por ejemplo, la SEM ha desarrollado dos grandes programas: Cali Bilingüe, en asocio con la Cámara de Comercio de la ciudad y otras entidades públicas y privadas relacionadas con la enseñanza del inglés, y el Proyecto de Fortalecimiento del Inglés en las Instituciones Educativas Oficiales de Santiago de Cali. Este último ha estado en vigencia desde el año 2015 y ha incluido, entre otras actividades, un proyecto de asesoría curricular a las IEO, tanto focalizadas como no focalizadas.

A pesar de todas las accionas nacionales y municipales aquí mencionadas, los resultados no han sido alentadores. Diferentes informes institucionales y estudios muestran que en Colombia la mayoría de los estudiantes al terminar la educación secundaria no alcanzan el nivel B1 del MCER, propuesto en el Plan Colombia Bilingüe, y que la mayoría (más del 50 %) termina este nivel de escolaridad con niveles entre A- y A1 (Alonso, Díaz, et al., 2017; ICFES, 2018; Mejía-Mejía, 2016). Esto quiere decir que la mayoría de los egresados del sistema escolar colombiano tienen un nivel básico de dominio del idioma y que están lejos de ser usuarios independientes de la lengua.

Aunque en Colombia existe una amplia literatura que ha abordado la enseñanza del inglés en el país, en el sector público, son pocos los estudios que se han enfocado en las causas de los resultados de los estudiantes en la Prueba Saber 11-inglés. Los estudios que han abordado los resultados de esta prueba han sido principalmente descriptivos y pocos han aplicado técnicas estadísticas para determinar relaciones de causalidad. Por su parte, los informes del MEN sobre los efectos de la focalización sobre el aprendizaje del inglés se limitan, por lo general, a reportar números de docentes, estudiantes e instituciones beneficiadas, pero no aportan datos sobre el verdadero impacto de las políticas en los resultados del examen (MEN, 2018). Por lo anterior, es factible señalar que es poco lo que se sabe sobre factores que inciden o explican el desempeño en inglés de los estudiantes en la prueba de Estado, lo que representa un vacío en el conocimiento en el área. Conocer los antecedentes del desempeño estudiantil en estas pruebas es un factor clave para diseñar políticas e intervenciones orientadas a su mejora (Correa, 2004; Sirin, 2005).

El presente trabajo propone, entonces, un aporte en esta dirección, buscando establecer, por una parte, cuál ha sido el efecto de las políticas nacionales y locales sobre los resultados de la Prueba Saber 11-inglés, administrada en el año 2017, solo en instituciones de carácter público. Además, se incluyen otras variables intrínsecas a las IEO, tales como nivel socioeconómico identificado de la IEO, número de estudiantes matriculados en la IEO, jornada en que la IEO ofrece sus servicios escolares y el promedio de desempeño en la sección de lectura crítica de la misma prueba. A continuación, se presenta la justificación de la selección de estas variables a partir de una breve revisión teórica y de antecedentes de investigación de cada una.

Marco teórico

La jornada escolar

Esta variable se asocia con el factor ambiente y condiciones de aprendizaje. En las ciencias de la educación se ha discutido si existe un momento del día más propicio para el aprendizaje. A finales del siglo XX, los estudios sobre cuál sería el mejor momento del día para el aprendizaje se centraban en las preferencias y estilos de aprendizaje de los estudiantes (Hickson et al., 1994). En el siglo XXI, el énfasis ha pasado desde las percepciones y preferencias estudiantiles a aspectos de actividad neuronal y ciclos de actividad cognitiva. Evans et al. (2017) encontraron que los estudiantes universitarios están más alerta y activos, cognitivamente hablando, cuando inician actividades académicas al mediodía o un par de horas más tarde, y que los horarios académicos más tempranos en la mañana conllevan a la pérdida de sueño, la desatención y menor retentiva. No obstante, Pope (2016) ofrece una perspectiva diferente. Usando un conjunto de datos de casi 2 millones de estudiantes de grados sexto a undécimo en la ciudad de Los Ángeles, estimó los efectos de la hora del día, calidad docente, asignatura y variables estudiantiles sobre el rendimiento académico acumulado y el desempeño en exámenes estandarizados distritales, encontrando que los estudiantes que toman clases en las mañanas obtienen mejores resultados en ambas variables. Al cruzar los resultados de hora del día con asignatura, el autor encontró que los resultados en matemáticas e inglés como lengua materna eran estadísticamente mejores en los estudiantes que cursaban estas asignaturas en horas de la mañana. El autor explica que esto no se debe a efectos cognitivos, sino a razones socioculturales: los estudiantes de la mañana suelen presentar mayor asistencia y puntualidad a clase y menores tasas de deserción.

En Colombia, las IEO ofrecen servicios educativos en tres jornadas: diurna (solamente la mañana), vespertina (solamente la tarde) y única (día completo). Al igual que en otros países, en Colombia también se ha debatido ampliamente sobre la incidencia en el aprendizaje de esta separación por jornadas. En particular, el Gobierno nacional ha sostenido la postura de que la jornada única es la opción más viable para la mejora de la calidad educativa desde el año 2014 (Departamento Nacional de Planeación –DNP-, 2014).

En lo que respecta a la Prueba Saber 11-inglés, estudios locales también han encontrado que la jornada incide en los resultados. Alonso, Díaz et al. (2017) encontraron que en los resultados de las pruebas Saber 11-inglés en Cali, entre los años 2009 a 2014, los estudiantes de jornada única obtuvieron mejores resultados que los estudiantes de otras jornadas. A su vez, los estudiantes de la jornada diurna obtuvieron mejores resultados que los estudiantes de la jornada vespertina. Mejía-Mejía (2016), analizando los resultados nacionales de la Prueba Saber 11-inglés, reportó que “los resultados también muestran que la jornada parcial (matutina, vespertina, nocturna o sabatina) impacta de manera negativa los puntajes de inglés de los estudiantes” (p. 234), encontrando mejores puntajes en los estudiantes que asisten a instituciones educativas (públicas o privadas) con jornada completa o única. Para los autores, el horario no es propiamente el factor que explica la diferencia, sino las prácticas y políticas asociadas a las jornadas y a las IEO. Ante el hecho de que hay pocos estudios sobre el tema, es interesante explorar esta variable.

Número de estudiantes por clase

Los profesores de lenguas extranjeras opinan que un alto número de estudiantes en clase es un factor desfavorable para el aprendizaje en esta área. Entre estos problemas que a menudo reportan, se encuentran la convivencia entre los estudiantes, la adecuación del espacio, disminución de la atención, dificultades para que el docente llegue a establecer una buena relación afectiva, menos oportunidades de usar y practicar la lengua, incremento de la carga laboral y reducción del tiempo de calidad del docente (Bahanshal, 2013; Watson Todd, 2012).

Bahanshal (2013) exploró las percepciones de seis profesores de inglés en secundaria de escuelas públicas de Arabia Saudita, que tenían en promedio entre 35 y 45 estudiantes por clase. Aunque el autor no determinó relaciones causales entre el número de estudiantes por clase y los resultados del aprendizaje de la lengua extranjera, sí determinó a través de entrevistas cualitativas que, para los docentes participantes del estudio, la cantidad de estudiantes tiene un efecto negativo en la calidad de la enseñanza. Por su parte, Watson Todd (2012) sí estableció relaciones causales en 984 clases de inglés en una universidad tailandesa, donde el número de estudiantes por clase oscilaba entre 10 y 103. En este estudio, el autor encontró correlaciones fuertes, significativas y de orientación negativa entre el número de estudiantes en la clase y la calificación promedio por grupo. En otras palabras, a menor número de estudiantes, mejores calificaciones.

El currículo institucional

El currículo se define como el cúmulo de procesos, acciones y componentes asociados con “la planeación, implementación y evaluación de un programa educativo” y las especificaciones de “por qué, cómo, a qué nivel de calidad y el qué del proceso de enseñanza aprendizaje” (Finney, 2002, p. 70).

En Colombia, a partir de la Ley General de Educación, se le dio autonomía a las IEO para diseñar su propio currículo atendiendo a sus características contextuales, socioculturales y a las necesidades de los estudiantes y de su entorno (Giraldo-Plaza y Ovalle-Carranza. (2020). El MEN mantiene la potestad de diseñar “los lineamientos generales de los procesos curriculares y […establecer] los indicadores de logros para cada grado de los niveles educativos” (Ley 115 de 1994, Art. 78). Este artículo se ha materializado en la publicación de diferentes documentos guía, de carácter curricular, a través de los años, como, por ejemplo, los estándares básicos de competencias (MEN, 2006), los Derechos Básicos de Aprendizaje (MEN, 2016a) y el Esquema Curricular Sugerido para Inglés (MEN, 2016b).

No se conocen estudios empíricos que establezcan una relación causal entre estas reformas curriculares y los resultados de la Prueba Saber 11-inglés. Sin embargo, Miranda (2016), a partir de una perspectiva sociocultural y crítica, en su análisis de la visión curricular, materializada en los documentos del programa Colombia Bilingüe, concluye que en estos documentos predomina “una perspectiva técnica del currículo que privilegia el logro de un producto previamente imaginado sobre la reflexión crítica en las escuelas” (p. 30) y que dicha visión “restringe el establecimiento de objetivos de aprendizaje y prácticas escolares basadas en las necesidades, intereses y contextos locales” (p. 30). Esta cita apunta a una contradicción entre las guías curriculares oficiales y el espíritu de la Ley de Educación y el concepto de currículo institucional, al menos para el área de inglés.

Mayora y Gutiérrez (2019) realizaron un análisis documental de los currículos institucionales de 28 IEO de la ciudad de Cali y reportaron que en los documentos institucionales se observan varias inconsistencias conceptuales (entre modelo pedagógico y metodología de enseñanza, por ejemplo) y programáticas (contenidos que no corresponden a las metas planteadas), así como ambigüedades en las descripciones metodológicas y falta de especificidad en la descripción de la evaluación. Este estudio da pie para pensar que los problemas observados a nivel documental pueden incidir en las prácticas de aula y en cómo se enseña y evalúa la lengua.

Como se dijo anteriormente, la SEM, entre sus estrategias locales, ha promovido proyectos de orientación curricular en los que asesores expertos de universidades de reconocido prestigio trabajan junto a docentes y directivos, revisan y hacen sugerencias para la mejora de los documentos curriculares y acompañan además las prácticas de aula. A la fecha, no se ha podido determinar el impacto de esta estrategia sobre el aprendizaje de los estudiantes.

La focalización del plan Colombia Bilingüe

La focalización se refiere a la asignación de recursos especiales a grupos o comunidades que más lo necesitan (Consejo Nacional de Política Económica y Social República de Colombia –CONPES-, 2006, p. 2). Es decir, se trata de un mecanismo a través del cual se busca reducir la desigualdad y garantizar la asignación justa del gasto público. Para el área de inglés, la focalización es el mecanismo para seleccionar las IEO que recibirán los beneficios del programa Colombia Bilingüe (MEN, 2018). Según la rendición de cuentas del MEN (2018) en el 2017 vinieron 520 nativos extranjeros a 60 ciudades de Colombia y acompañaron a 1560 docentes de inglés en un programa de co-enseñanza, 30 docentes participaron en programas de inmersión en ambientes con alta exposición a la lengua, 1280 docentes recibieron capacitaciones en el uso e integración de los libros de textos editados y distribuidos por el MEN, y 1300 fueron capacitados en el uso e incorporación de los documentos curriculares anteriormente mencionados. Esta rendición de cuentas no muestra que estas acciones hayan impactado los resultados de aprendizaje. Por otra parte, estas políticas han sido criticadas por su carencia de continuidad, énfasis en empleabilidad y competitividad, definiciones sesgadas del concepto de bilingüismo, desconocimiento del contexto nacional, exigencias poco realistas, la adopción acrítica de modelos extranjeros y la exclusión de las voces de los docentes en su formulación (Gómez Sará, 2017; Miranda, 2016; Usma, 2015).

Como se ha indicado antes, no se conocen estudios previos que hayan buscado determinar el impacto o la diferencia en desempeños en la Prueba Saber 11- inglés entre las IE focalizadas y las no focalizadas. Un estudio relativamente cercano es el de Aguilar y Montoya (2015) quienes se propusieron determinar el efecto de las políticas educativas implementadas en la ciudad de Medellín entre los años 2003 y 2011 en las Pruebas Saber 11, pero enfocándose en el puntaje global y en las áreas de Lenguaje y Matemáticas. El resultado de este estudio fue que la implementación de la política educativa en las IEO ayudó a mejorar el promedio de desempeño global y el promedio en Lenguaje de las IEO intervenidas, mas no tuvo incidencia en el puntaje en Matemáticas. Por otra parte, aunque las IEO intervenidas mejoraron su desempeño, acortando la brecha entre las intervenidas y no intervenidas, no se encontró un efecto estadísticamente significativo de la política educativa municipal, y que la mayor variabilidad en el desempeño es explicada por variables demográficas más que por el hecho de haber sido intervenida o no.

Estatus socioeconómico

Diferentes investigaciones educativas han reportado consistentemente importantes relaciones entre el estatus o nivel socioeconómico y los resultados de aprendizaje medidos por pruebas estandarizadas o por rendimiento escolar (Rodríguez, 2016; Sirin, 2005). En Colombia, esta predicción se ha confirmado. En términos generales, estudios como los de Correa (2004), en Cali; Rodríguez (2016), en Bogotá; y Ruiz et al. (2018), en Barranquilla, confirman que estudiantes con mejores condiciones socioeconómicas y que cursaron estudios en colegios privados obtienen puntajes más altos en el examen de Estado colombiano.

En el aprendizaje de lenguas extranjeras también se ha comprobado un mejor desempeño en estudiantes con mejores condiciones socioeconómicas (Hou, 2015; Krashen & Brown, 2005; Sung et al., 2006). En síntesis, estos estudios sugieren que los estudiantes de estratos favorecidos cuentan con un capital cultural objetivado (Bourdieu, 1987) y un capital económico que les permite un mayor acceso a una serie de recursos materiales y experiencias que ayudan al proceso de aprendizaje de la lengua (clases particulares, viajes, acceso a Internet, etc.).

En el contexto colombiano, en particular, también se ha confirmado la diferencia en tasas de aprendizaje del inglés, según el nivel socioeconómico. En su análisis de los resultados de la Prueba Saber 11-inglés en el contexto nacional, entre los años 2001 y 2011, Sánchez-Jabba (2013) reportó que los estudiantes de colegios privados obtienen puntajes estadísticamente más altos que los estudiantes en IEO. Mejía-Mejía (2016) analizó los resultados nacionales de la Prueba Saber 11-inglés de los años 2008 y 2013, encontrando que “existe una brecha entre los sectores público y privado en el nivel de inglés, de alrededor de 6,5 puntos” (p. 232), y encontró, además, “una fuerte relación directa entre el ingreso [familiar] y el nivel de inglés” de los estudiantes (p. 233). Usma (2015) al analizar los resultados de las Pruebas Saber 11-inglés en Medellín, en el año 2013, encontró una diferencia notable en los resultados por grupos de estratos socioeconómicos, concluyendo que “mientras más bajo el estatus socioeconómico del estudiante, más bajo su puntaje en el componente de inglés del examen nacional” (Usma, 2015, p. 117). Además, el autor reportó que el 27 % de las escuelas privadas de esta ciudad logran como promedio el nivel B1 o B+, mientras que solo el 3,9 % de las escuelas públicas alcanzan este nivel. Por su parte, Alonso, Díaz et al. (2017), al analizar los resultados de cinco años de la Prueba Saber 11-inglés en Cali por colegios, encontraron que en ese lapso los colegios privados obtienen puntajes mayores y un mayor porcentaje de estudiantes clasificados en B1 y B+, en comparación con las IEO de la ciudad; además, señalan que “ningún colegio oficial logró clasificar al menos el 25% de sus bachilleres en” los niveles B1 y B+ (Alonso, Díaz et al., 2017, p. 19).

Habilidades en la lengua materna en relación con el aprendizaje de la segunda lengua

Actualmente, diferentes posturas teóricas sostienen la idea de que la lengua materna no interfiere con la adquisición de una lengua adicional, sino que, muy por el contrario, podría servir de base para dicho proceso e incluso jugar un rol facilitador (Kamwangamalu, 2010; Wei, 2017). En su hipótesis de la interdependencia lingüística, Cummins (1979) propone que sí es posible que haya transferencia de habilidades lingüísticas y de literacidad (lectura y escritura) desde la lengua materna (L1) a la segunda lengua (L2), pero es necesario un nivel elevado de competencia lingüística y en literacidad en la L1 para que dicha transferencia pueda suceder. En otras palabras, la hipótesis supone que los buenos lectores en su L1, que además cuenten con un avanzado dominio lingüístico de esta, se les facilitará el proceso de adquisición de la L2 y el desarrollo de la literacidad en la lengua meta. La alternativa a esta hipótesis, la hipótesis del umbral lingüístico plantea lo contrario, indicando que para que haya transferencia de habilidades de literacidad de la L1 a la L2, primero es necesario que el aprendiz alcance un cierto umbral lingüístico, un nivel de conocimiento lingüístico en la L2 que permita hacer dichas transferencias (Clarke, 2003).

Varios estudios han buscado comprobar estas hipótesis, principalmente en el área de la lectura en L2. Kahn-Horwitz et al. (2006) estudiaron la contribución de las habilidades de lectura en L1, conocimiento lingüístico en L2 y estatus socioeconómico en la competencia en lectura en inglés como lengua extranjera (ILE), de un grupo de 145 estudiantes de cuarto grado de tres escuelas en Israel. Los investigadores encontraron que los lectores débiles en ILE se caracterizaban por un desempeño insuficiente en pruebas de lectura en su L1 y mostraban un vocabulario limitado en su L1. Sin embargo, el conocimiento de vocabulario en la L2 también fue una variable de valor predictivo que interactuó con las variables asociadas al conocimiento léxico y habilidad de lectura en la L1. El nivel socioeconómico tuvo efectos significativos, pero débiles en la discriminación entre buenos y malos lectores en ILE.

Leiva (2007) buscó validar la hipótesis del umbral lingüístico al medir el efecto de habilidad verbal en español y el conocimiento gramatical del inglés sobre la comprensión lectora en ILE de 1059 estudiantes universitarios venezolanos. En este estudio, el conocimiento gramatical en inglés tuvo un mayor valor predictivo sobre la variable comprensión lectora en ILE, mientras que habilidad verbal en español arrojó correlaciones débiles con la variable objeto y reportó poco valor predictivo. En pocas palabras, en este estudio se confirma la idea de que el conocimiento de la L2 es un requisito para que pueda haber transferencia de habilidades de lectura de la L1 a la L2. Más recientemente, Artieda (2017) buscó determinar el efecto de las habilidades y hábitos de lectura en L1 (catalán) sobre el logro en medidas de comprensión de lectura en L2 (español), comparando aprendices de nivel básico e intermedio en una escuela de educación para adultos en Barcelona, España. Los resultados arrojaron que no hubo correlaciones significativas entre habilidad de lectura en L1 y habilidad de lectura en L2 en el grupo de lectores básicos, pero que las correlaciones sí fueron significativas en el grupo intermedio. El mismo resultado se observó para hábitos de lectura: esta variable fue significativa en el grupo intermedio (mientras más frecuentemente leen en la L1 y más la disfrutan, mejores resultados en la lectura en la L2), más no hubo efectos significativos en el grupo básico. Para la autora, sus resultados sirven de evidencia para validar la hipótesis de la interdependencia lingüística de Cummins, pues los lectores débiles en la L1 no pueden hacer transferencia de su lengua materna a la L2, mientras que los mejores lectores sí lo hacen. En pocas palabras, una buena habilidad de lectura en la L1 puede servir de andamiaje para el desarrollo de la lectura en L2, pero al parecer, también es necesario un conocimiento del sistema lingüístico de la L2.

Metodología

Tipo de investigación y diseño

El presente es un estudio de método cuantitativo, alcance explicativo y de diseño ex post facto. El diseño ex post facto es aquel en el que se busca establecer relaciones de causalidad entre variables, pero en las que no se han cumplido los criterios de aleatorización e intervención propios de los diseños experimentales o cuasi-experimentales. Además, son diseños en los que se abordan hechos ya sucedidos y que no han sido manipulados por el investigador (Corbetta, 2007).

Población y muestra

Para la realización del estudio se seleccionó la ciudad de Cali, capital del departamento del Valle del Cauca, ubicado al Suroccidente de Colombia. Cali es una de las ciudades más importantes del país por su densidad poblacional y sus proyecciones económicas y de inversión (Alonso, Gallo et al., 2012). Además, los resultados en la Prueba Saber 11-inglés de la ciudad son muy cercanos a los resultados del país, dándole representatividad muestral. Se toma como población de este estudio las 91 IEO de Cali. El número total de estudiantes en grado 11 para tomar la prueba en el año 2017 fue de 10.148. Como muestra se tomaron 87 IEO, cuyos resultados en la prueba Saber 11 estaban disponibles en la página interactiva del ICFES. El número de estudiantes de estas 87 IEO que tomaron la prueba fue de 9745. Es factible decir que la muestra es representativa, pues para una población de 91 instituciones, con un nivel de confianza de 95 % y un margen de error de 0.05, el tamaño de la muestra representativa sería de 81 IEO.

Variables en la investigación

Para este estudio las siguientes se tomaron como variables independientes: focalización, asesoría curricular, estratificación socioeconómica, cantidad de estudiantes matriculados en la IEO, jornada y promedio de desempeño en lectura crítica. Estas variables fueron seleccionadas por su disponibilidad en los resultados publicados por el ICFES en su página web y por la existencia de evidencia de efecto de estas variables sobre el desempeño en exámenes de competencia en inglés reportados en la literatura. Brevemente se describen la definición y operacionalización de estas variables.

La variable focalización se define como participación en el programa Colombia Bilingüe y sus actividades correspondientes; para su operacionalización se consideró si la IEO había sido o no focalizada en el año de los resultados disponibles (2017) para este estudio, según datos provistos por la SEM. La variable asesoría curricular previa se definió como participación de la IEO en el programa de fortalecimiento curricular ofrecido por la SEM, en el año 2017, y sus actividades; se operacionalizó como una variable dicotómica en términos de sí participó o no participó, según datos provistos por la SEM. Para la variable estatus socioeconómico se tomó en cuenta el estrato socioeconómico donde la IEO está localizada. En Colombia, la estratificación por zona se trata de una clasificación de las zonas geográficas de la ciudad, de acuerdo con características de acceso a servicios, condiciones de la vivienda y otros indicadores socioeconómicos. De acuerdo con esta definición se han establecido seis estratos socioeconómicos clasificados de la siguiente manera: 1) bajo-bajo, 2) bajo, 3) medio-bajo, 4) medio, 5) medio alto, 6) alto (Ley 142 de 1994, Art. 102b). La variable cantidad de estudiantes matriculados en la IEO se incluyó sobre el supuesto de que IEO con poblaciones muy grandes probablemente tengan clases de inglés sobrepobladas y que esto podría influir sobre el desempeño de los estudiantes; esta se operacionalizó como una variable continua en función del número total de estudiantes matriculados, según datos proporcionados por la SEM. La jornada de estudios se define como el momento del día en el que los estudiantes que tomaron la prueba asisten a los servicios escolares; se operacionalizó como jornada diurna, vespertina o única, según los datos reportados en la base de datos del ICFES. La variable habilidades de la lengua materna se consideró a partir de los resultados en la sección de lectura crítica en la misma prueba de la que se tomaron los resultados para este estudio. Según la guía de orientación para la Prueba Saber 11, para el período 2017-I, “la prueba de Lectura Crítica evalúa las competencias necesarias para entender, interpretar y analizar críticamente textos de la vida cotidiana, así como textos académicos no especializados” (ICFES, 2017, p. 16). Según el mismo documento, la prueba evalúa tres tipos de competencias características de un buen proceso de lectura: “identificar y entender los contenidos locales que conforman un texto; comprender cómo se articulan las partes de un texto para darle un sentido global; y, finalmente, reflexionar en torno a un texto y evaluar su contenido” (p. 16). La prueba consta de 41 preguntas de opción múltiple con única respuesta. De estas preguntas, 25 % evalúan la primera competencia, 42 % evalúan la segunda y 33 % evalúan la tercera. Con base en el puntaje obtenido por el estudiante, su desempeño se clasifica en uno de los cuatro niveles que van desde la comprensión literal a la reflexión crítica (ICFES, 2017, pp. 20-21). En el anexo 1 se muestra la descripción de las competencias asociadas a cada nivel.

La variable dependiente en este estudio es el nivel de competencia en inglés. Esta variable se toma como el resultado promedio obtenido por los estudiantes de las IEO de Cali en la Prueba Saber 11-inglés. La prueba se compone de 45 preguntas de opción múltiple con una sola respuesta correcta para un puntaje de 100 puntos. Si el estudiante obtiene un puntaje de 0 a 47 se considera que su nivel de competencia es A-, de 48 a 57: nivel A1, de 58 a 67: nivel A2, de 68 a 78: nivel B1 y de 79 a 100: nivel B+. La prueba comprende siete partes que evalúan el conocimiento léxico, el conocimiento pragmático, el conocimiento gramatical, la lectura literal e inferencial y la habilidad comunicativa (ICFES, 2017, pp. 85-87). En el anexo 2 se muestra la distribución de las preguntas según cada parte de la prueba y las habilidades que se miden. En la tabla 1 se resumen las variables del estudio.

Tabla 1
Caracterización de las variables del estudio
VariableClasificaciónTipoCategoríasFrecuencia%
JornadaIndependientes Categórica-nominal Diurna6574,7%
Vespertina1416,1%
Única (completa)89,2%
Asesoría curricular SEMAsesorada2832,2%
No asesorada5967,8%
FocalizaciónFocalizada2528,7%
No focalizada6271,3%
Estrato socioeconómicoCategórica-ordinal11011,5
22326,4
34450,6
466,9
544,6
600
MediaDesviación estándarMIN-MAX
Número de estudiantes matriculadosVariable continúa/ de razón 1949,81122,3244 / 6842
Promedio Lectura Crítica Saber 1154,13,747,2 / 62,9
Puntaje saber 11-inglésDependiente50,004,418,83 / 60,9
Elaboración de los autores a partir de datos de ICFES (2018)

Procesamiento y tratamiento de los datos

Para el caso específico de los datos analizados en el presente estudio, se utilizaron estadísticas descriptivas de los resultados de las IEO. Para determinar los efectos de las variables focalización, asesoría curricular previa, jornada .estatus socioeconómico se realizó la comparación de medias de desempeño de las IEO de la muestra por medio del análisis de varianza (ANOVA) de una vía, tomando cada una de estas variables como factor. Para determinar el efecto combinado de todas las variables dependientes sobre la variable independiente se utilizó la regresión lineal múltiple con método paso a paso.

Resultados

Descripción general

De la tabla 1 se destacan los resultados de las dos secciones de la Prueba Saber 11. En la sección de inglés la media de los puntajes institucionales fue de 50 puntos, es decir, que en promedio el nivel de inglés de las IEO de Cali es A1. La institución cuyos estudiantes tuvieron el promedio más bajo tuvo una media de desempeño de 18,83 (nivel A-) y la que tuvo el promedio de desempeño más alto obtuvo una media de 60,93 (nivel A2). Institucionalmente no se registró ninguna IEO con una media de desempeño en el nivel B1 o superior. Individualmente sí se reportaron resultados en dichos niveles, pero en porcentajes muy bajos. El valor de la desviación estándar muestra que el desempeño institucional en la Prueba Saber 11-inglés fue bastante homogéneo.

En cuanto al desempeño en la prueba Saber 11-lectura crítica, la media de desempeño de las IEO fue de 54,13, sobre un puntaje máximo posible de 100, lo cual ubicaría el desempeño institucional de lectura crítica en el nivel tres de los establecidos por el ICFES. Esto indicaría que, institucionalmente hablando, las IEO de Cali no han alcanzado el cuarto nivel de competencia, aquel que precisamente se centra en la aproximación crítica a los textos. La IEO con la media de desempeño más baja para esta prueba se ubicaría en el nivel 2 (.=47,29) y aquella con la media más alta en el nivel 3 (x=62,09). La desviación estándar sugeriría un desempeño bastante homogéneo entre las IEO.

Análisis comparativos

La tabla 2 muestra los resultados de las IEO en el estudio en relación con las variables independientes de tipo categórico y los resultados de las comparaciones entre grupos resultantes del ANOVA de una vía. En el primer renglón de la tabla se observa la comparación por la variable focalización. Las IEO focalizadas obtuvieron una media de desempeño en la Prueba Saber 11-inglés ligeramente superior a la media de las IEO no focalizadas, aunque ambos grupos de IEO están en el mismo nivel de competencia en inglés: A1. La comparación a través del ANOVA de una vía muestra que esta diferencia no es estadísticamente significativa (F= 2,89, .=,093>,05). Esto quiere decir que la diferencia en las medias se debe a otros factores y no a un efecto de la variable focalización. En otras palabras, el hecho de que la IEO sea focalizada o no, no incide en los resultados de la prueba Saber 11-inglés.

En el segundo renglón de la tabla se observa la comparación del desempeño considerando la variable asesoría curricular previa ofrecida por la SEM. En este caso, las IEO que no recibieron la asesoría ofrecida en el programa de la SEM tuvieron una media de desempeño ligeramente mayor que aquellas que sí fueron asesoradas. No obstante, esta diferencia no es estadísticamente significativa (F= 2,11, .=,149>,05), por lo que es posible afirmar que esta asesoría tampoco incidió en los resultados de la prueba.

Tabla 2
Resultados comparativos por variable y resultados de los ANOVA de una vía
VariableGruposnMediaDes. estándarFpDiferencia significativa
Focalizaciónfocalizadas6249.494.842.89.093NO
No focalizadas2551.273.14
Asesoría curricular SEMAsesoría NO5950.484.822.11.149NO
Asesoría SI2848.993.53
Estrato socioeconómicoEst. 11048.973.862.09.090NO
Est. 2.2348.383.86
Est. 34450.734.09
Est. 4653.207.47
Est. 5449.045.87
JornadaDiurna6550.804.444.66.012SI
Vespertina1447.194.26
Única848.402.83
Elaboración de los autores a partir de datos de ICFES (2018). F= Resultado del ANOVA de una vía. p = Valor de significancia estadística.

En el tercer renglón se presenta la comparación según el estrato en el cual las IEO se encuentran ubicadas. La tabla 2 muestra que las mejores medias de desempeño se observan en los estratos 3 y 4, las cuales son levemente superiores a las medias de desempeño de los estratos 1, 2 y 5. Sin embargo, no se cumple la predicción de a mayor estrato, mejores resultados de manera lineal. Las IEO en estrato 1 tuvieron, de hecho, una media ligeramente superior que aquellas en estrato 2, mientras que la media de desempeño del estrato 5 está por debajo de la media de desempeño de los estratos 4 y 3. Pese a estas diferencias menores en las medias, todas las IEO estarían clasificadas en el nivel A1. Nuevamente, el ANOVA de una vía mostró que no hay diferencias estadísticamente significativas entre los grupos de IEO, según estrato (F= 2,09, .=,09>,05). Contrario a lo reportado en otras investigaciones, en el caso de Cali estos datos no muestran un efecto importante de la estratificación.

Observando el último renglón se tiene que las IEO que ofrecen jornada diurna tuvieron una mejor media de desempeño que las demás. Las IEO con jornada única superaron a las IEO con jornada vespertina, aunque las diferencias entre los grupos son muy bajas. Las IEO con jornada diurna y jornada única clasificarían en el nivel A1 de competencia en inglés, mientras que las IEO con jornada vespertina clasificarían en el nivel A-. Según la desviación estándar, el desempeño de las IEO en jornada única fue más homogéneo al compararlo con el desempeño del resto de las IEO. Al realizar la comparación estadística entre las medias de los tres grupos, el ANOVA de una vía reveló que sí hay diferencia estadísticamente significativa al 0,05 % (F= 4,66, .=,012<,05). Esto quiere decir que aquellos estudiantes de IEO con jornadas diurnas tuvieron un desempeño mejor que el de las IEO con otras jornadas.

Análisis explicativo

La regresión linear múltiple no solamente permite establecer la relación entre las variables, como lo haría un coeficiente de correlación, sino que además indica la dirección de causalidad de la relación y también permite determinar el porcentaje de varianza de la variable dependiente que cada variable independiente explica. Para el modelo se utilizó el método paso a paso, y el criterio de inclusión de las variables fue una significancia de .05 para .. Con este método se seleccionan las variables que explican mayor porcentaje de la varianza en orden decreciente (desde la que más explica a la que menos explica), y que alcancen al menos el nivel de significancia establecido como criterio. Las variables independientes fueron las categóricas, y se incluyeron, además, las continuas de razón (cantidad de estudiantes matriculados en la IEO y el promedio de desempeño en la prueba Saber 11-lectura crítica). La tabla 3 muestra los resultados de la regresión.

El modelo resultante tuvo tres pasos y explica el 84,9 % de la varianza de la variable dependiente. En el primer paso, la variable independiente incluida fue el promedio de desempeño institucional en la prueba saber 11-lectura crítica, que explica el 80 % de la varianza con una significancia por debajo de .001. En el segundo paso entró la variable focalización a explicar aproximadamente un 2.6 % de la varianza con una significancia menor que el .001%. Finalmente, en el tercer paso entró la variable asesoría curricular previa a explicar un 2.3 % adicional de la varianza de la variable dependiente, también con una significancia para F menor que .001 %. Las variables estratificación, jornada, cantidad de estudiantes matriculados en la IEO no entraron al modelo, lo cual indica que no tienen incidencia sobre la varianza de la variable dependiente o no alcanzaron el criterio de significancia para su inclusión.

Tabla 3
Resumen del modelo de regresión lineal múltiple
ModeloRR2R2 ajustadoError estándar de la estimaciónFp
1,896a,803,8011,99347,479,0007E-32
2,911b,830,8261,87204,854,9463E-33
3,924c,854,8491,74162,381,2594E-34
Elaboración de los autores a partir de datos de ICFES (2018). a= Predictores del paso de la regresión: Promedio Saber 11 Lect_crítica. b= predictores del segundo paso de la regresión: Promedio Saber 11 Lect_crítica, Focalización. c= Predictores del tercer paso de la regresión: Promedio Saber 11 Lect_crítica, Focalización, Asesoría curricular.

En términos simples, lo que el modelo de regresión indica es que el nivel de lectura crítica en la lengua materna de los estudiantes es el mejor predictor del desempeño en un examen de inglés como el Saber 11. En pocas palabras, se puede decir que aquellos estudiantes que son buenos lectores en español están en una IEO focalizada, que recibió asesoría curricular SEM, y tienen un mejor desempeño en inglés que aquellos en las condiciones opuestas.

Discusión

Del análisis descriptivo se observa que, a nivel institucional, el desempeño estudiantil en las pruebas Saber 11 tanto en inglés como en lectura crítica es poco satisfactorio. En términos generales, los estudiantes de grado 11° de la ciudad de Cali no alcanzan los niveles B1 o B+ establecidos en las políticas lingüísticas nacionales y su nivel de competencia es casi el mismo que se supone deberían tener al finalizar grado 6°. Naturalmente si se miran los puntajes individuales y no los institucionales, sí se encuentran puntajes en los niveles B1 y B+, pero proporcionalmente estos son pocos y distribuidos en las instituciones, de tal manera que tienen poco impacto en los puntajes institucionales. Estos resultados son consistentes con estudios anteriores, especialmente el de Alonso, Díaz et al. (2017) que reportaba un bajo desempeño en la Prueba saber 11-inglés en la ciudad de Cali, entre los años 2009 y 2014. En cuanto a la lectura crítica, se observa que estos estudiantes, en su mayoría, y viéndolo de manera institucional, no alcanzan el nivel de reflexión y la capacidad de evaluación de los textos que definen la lectura crítica, aunque sí alcanzan niveles de comprensión y recuperación de información de los textos.

Los análisis comparativos muestran que el desempeño de IEO focalizadas y no focalizadas no es significativamente diferente. Este resultado coincide con lo encontrado por Aguilar y Montoya (2015), quienes reportaron que en la ciudad de Medellín las políticas educativas e intervenciones promovidas por la ciudad no habían tenido un impacto significativo en los resultados globales de la Prueba Saber 11. Aunque en dicho estudio no se consideró el área de inglés, hay coincidencia en el hecho de que las intervenciones, en este caso la focalización del plan Colombia Bilingüe, no inciden en los resultados en la prueba. Este resultado puede interpretarse al menos de dos maneras. Por un lado, se podría ver como evidencia de la inefectividad del plan Colombia Bilingüe, sugiriendo que los recursos invertidos no han cumplido con su objetivo. Por otro lado, más optimista, podría pensarse que estas estrategias requieren de más tiempo para verdaderamente producir resultados notables en la prueba. Probablemente, si la continuidad del programa se mantiene y se evalúa en un plazo más largo, sí puedan observarse mejores resultados. En cualquiera de los dos escenarios, la sugerencia pertinente es hacer seguimiento constante a estas estrategias. En la primera explicación, un seguimiento más firme permitiría determinar el por qué estas acciones no están funcionando. En la segunda explicación, dicho seguimiento permitiría documentar el progreso y evolución de los programas en el mediano y largo plazo.

Cuando se considera la variable asesoría curricular previa, se reportó que esta variable tampoco tuvo incidencia ni marcó diferencia estadísticamente significativa entre las IEO que recibieron esta asesoría y aquellas que no. En este caso, podría aplicar la misma explicación anterior: se requiere de un mayor plazo de tiempo y que al programa municipal se le dé continuidad para que este empiece a mostrar alguna incidencia en los resultados de la prueba. Autores como Usma (2015), Miranda (2016) y Gómez Sará (2017) establecen que una crítica frecuente a las políticas, tanto nacionales como regionales en materia del denominado fortalecimiento del bilingüismo, ha sido su falta de continuidad.

La comparación por estrato socioeconómico tampoco arrojó diferencias significativas, contrario a lo que reportan la mayoría de los estudios en esta área. Los estudios de Alonso, Díaz et al. (2017), Mejía-Mejía (2016) y Sánchez Jabba (2013) coinciden en demostrar que, a mayor estatus socioeconómico, mejores resultados en la Prueba Saber 11-inglés, y demuestran que hay una brecha entre las IEO y los establecimientos educativos privados. La diferencia entre esos estudios y el presente puede deberse al hecho de que en este caso todas las instituciones participantes en el estudio son de carácter público. Aunque estas IEO están localizadas en estratos socioeconómicos diferentes, todas pueden enfrentar limitaciones presupuestales y materiales similares. También, hay que considerar que, aunque una IEO esté ubicada en un barrio en estrato 4 o 5, esta recibe a estudiantes de barrios o comunas cercanas de menor estrato. Si se compararan instituciones oficiales con instituciones privadas es probable que la comparación sí demuestre un efecto más notable para esta variable, como ha sucedido en los estudios anteriores (Alonso, Díaz et al., 2017; Mejía-Mejía, 2016; Usma, 2015).

Curiosamente, sí se encontró una diferencia significativa al considerar la jornada escolar como factor. Como ya fue señalado anteriormente, los estudiantes de la jornada diurna tuvieron un mejor desempeño que aquellos en jornada única y en jornada vespertina. Este resultado contrasta con lo reportado por Evans et al. (2017) para estudiantes universitarios estadounidenses, pero coincide con el estudio de Pope (2016) con estudiantes de secundaria. Al comparar este resultado con estudios en Colombia referentes al área de inglés específicamente, se tiene que lo aquí reportado es parcialmente consistente con lo reportado por Alonso, Díaz et al. (2017) y Mejía-Mejía (2016) que también encontraron efectos diferenciales según la jornada de estudios. Aun así, ambos estudios muestran mejores desempeños en estudiantes que asisten a la jornada única, mientras que, en el presente estudio, los estudiantes de jornada única superaron a los estudiantes de jornada vespertina, más no a los de jornada diurna. La explicación de esta diferencia puede deberse, una vez más, al hecho de que en este estudio solo se consideraron instituciones oficiales y no instituciones privadas. Es posible que en las IEO no se esté dedicando el tiempo adicional de la jornada única a más clases de inglés, o, de hacerlo, sería necesario estudiar cómo y qué se hace en esas horas adicionales en el área de inglés. También, será necesario hacer estudios etnográficos y con datos más detallados de naturaleza cualitativa para comprender los elementos que justifican esta diferencia. Es probable que, tal y como lo reportó Pope (2016), se encuentren hábitos más disciplinados y mayor asistencia en los estudiantes de jornada diurna y que ello explique la diferencia aquí descrita. Por el momento, este resultado llama la atención sobre la validez y viabilidad, al menos para el área de inglés, de la jornada única, lo cual sería un tema valioso para futuras investigaciones.

Con respecto al análisis explicativo, se encontró que, de las diferentes variables seleccionadas, es la competencia en lectura en la L1 la que mejor predice la competencia en inglés, al menos como la mide la prueba en cuestión. Aunque las variables focalización y asesoría curricular también entraron en el modelo, ambas en conjunto explican menos del 5% de la varianza, indicando que su efecto es casi mínimo sobre la competencia en inglés y que, de haberlo, depende en gran medida de la habilidad de lectura en L1. Este es uno de los hallazgos más importantes del presente estudio, puesto que no se ha reportado en estudios anteriores. Además, este hallazgo no solo abre posibilidades de reflexión sobre las políticas educativas en Colombia y otros países, sino que arroja luces sobre un tema ampliamente debatido en la psicolingüística, la lingüística aplicada y otras áreas afines: la relación entre las habilidades de la L1 y de la L2. Si bien se trata de un tema para futuras investigaciones, lo que se puede decir es que hay evidencia de que aquellos estudiantes que son buenos lectores en español también son buenos lectores en inglés, tienen un mejor vocabulario y dominio de la gramática de este idioma. Aquellos con un nivel de lectura en L1 más bajo también tendrán un bajo desempeño en la prueba de inglés. Este resultado es consistente con los hallazgos de Kahn-Horwitz et al. (2006) y Artieda (2017), citados anteriormente.

Puede haber varias explicaciones para lo observado. Podría ser el caso que la similitud de los formatos de las pruebas incida en el desempeño de los estudiantes en estas, ya que la Prueba Saber 11-inglés es también una prueba de lectura por el formato en que se presenta. Por otro lado, es posible que ciertamente las habilidades en la L1 se relacionen con el desarrollo de habilidades en la L2, como propuso Cummins (1979) hace más de cuatro décadas.

La implicación de este resultado es que, aparentemente, sería más provechoso invertir recursos en el desarrollo de las habilidades de lectura en la L1 para llegar a obtener mejores resultados en inglés L2. Un buen programa de lectura en español y buenas prácticas académicas en la enseñanza de esta habilidad, produzcan no solo mejores resultados en la Prueba Saber 11-lectura crítica (por demás una necesidad en el sistema educativo colombiano), sino también en la Prueba Saber 11-inglés. Estas estrategias podrían ser tan efectivas como los nativos extranjeros y otras acciones para fortalecer el inglés que se han venido implementando. Por último, los resultados sugieren además la necesidad de replantear la política educativa y lingüística nacional en términos de una verdadera educación bilingüe, que sea incluyente y que promueva el bilingüismo aditivo (aquel que busca fortalecer y dar igual estatus a ambas lenguas en contacto, ver Baker, 2001), donde se fortalezca el español y otras lenguas nacionales, a la par con la lengua extranjera. Esto es especialmente relevante, debido al hecho de que el programa de bilingüismo en Colombia a menudo ha sido catalogado como promotor del bilingüismo sustractivo (Usma, 2015), es decir, donde se favorece a la lengua de mayor prestigio en detrimento de la lengua de menor estatus (ver Baker, 2001). Esta implicación puede ser además pertinente para los programas de enseñanza del inglés en otros países latinoamericanos que han sido criticados por mantener una tendencia similar hacia el bilingüismo sustractivo, como el caso de Chile (Glas, 2008).

Naturalmente, más estudios son necesarios para confirmar esta propuesta, así como estudios que superen las limitaciones del presente. Aunque por su densidad poblacional, Cali puede considerarse una ciudad representativa de la situación del país, valdría la pena replicar este estudio con los resultados de otras ciudades o con resultados nacionales. A pesar de esta limitante, las implicaciones y recomendaciones aquí presentadas podrían ser transferibles a otros municipios, dada la homogeneidad de los resultados de la Prueba Saber-11 a nivel nacional en los últimos años.

Conclusión

En búsqueda de mejorar la calidad educativa, los Gobiernos de Colombia y de otros países de América Latina han apostado al dominio del inglés como lengua extranjera a través de políticas educativas y lingüísticas, materializadas en programas de bilingüismo. En el caso particular de Colombia, se ha criticado la noción de bilingüismo promovida por las políticas nacionales, en las que el término implica fortalecer la lengua extranjera, en desconocimiento de la lengua materna mayoritaria y otras lenguas nacionales de menos prestigio. Los resultados de este estudio confirman esta crítica, puesto que demuestran que, en el examen nacional de competencias educativas, el que todos los estudiantes del sistema educativo deben presentar al final de su escolaridad, los estudiantes no han logrado desarrollar competencias en lectura crítica en su L1 y predominan competencias para la recuperación de información y las inferencias locales. Más aún, estos resultados ofrecen un contra argumento contra las políticas nacionales al demostrar que la competencia en lectura en lengua materna es un fuerte predictor del desempeño en la lengua extranjera. En otras palabras, si desde las políticas nacionales se hicieran esfuerzos para fortalecer la lectura en la lengua materna, no solo se obtendrían mejores resultados en estas habilidades, sino también en la competencia comunicativa en la segunda lengua.

Otro rasgo destacable de estos resultados es que parecen contradecir varios supuestos con respecto al aprendizaje del inglés en las escuelas públicas colombianas. La focalización, la punta de lanza del plan Colombia Bilingüe no incidió en los resultados de las IEO de la muestra. No se encontraron efectos para el estrato socioeconómico, aunque, como se indicó en la discusión, esto puede deberse al hecho de que las IEO enfrentan problemáticas sociales y de infraestructura muy similares, independientemente de su localización, y que la diferencia por estrato socioeconómico reportada en otros estudios se hace evidente al comparar los colegios privados de élite y las IEO. Otra creencia ampliamente difundida es que grupos de clases de inglés con pocos estudiantes obtendrán mejores resultados. Sin querer desmeritar la percepción de los docentes, los datos de este estudio no arrojaron soporte para dicha creencia, pues el número de estudiantes no entró al modelo explicativo de la varianza de la variable dependiente. En Colombia, el MEN promovió la idea de que la jornada única llevaría a una importante mejora de la calidad educativa y a mejores resultados en el examen estandarizado de estado en todas las áreas. Esta afirmación tampoco se confirma en los resultados de este estudio.

A juicio de los autores del presente trabajo, esto no quiere decir que deben abandonarse los programas e inversiones orientados a mejorar la enseñanza y el aprendizaje del inglés. Estos programas podrían tener un impacto más visible en el mediano o largo plazo si se les da continuidad y se establecen mecanismos adecuados de seguimiento y evaluación. Este resultado llama la atención sobre la necesidad de invertir y lanzar programas orientados a las competencias y habilidades en la lengua materna, un componente en el que cuantitativamente hablando se ha invertido mucho menos en los últimos años. El programa Colombia Bilingüe, no debe enfocarse en una “Colombia very well” exclusivamente, sino debe incluir a una “Colombia, muy bien” para el alcance de las metas trazadas.

Referencias

Abrahams, M. J., & Silva Ríos, P. (2017). What happens with English in Chile? Challenges in teacher preparation. En L. D. Kamhi-Stein, G. H. Diaz Maggioli, & L. de Oliveira (Eds.), English language teaching in South America: Policy, preparation and practices (pp.109-122). Bristol: Multilingual Matters. https://doi.org/10.21832/KAMHI7975

Aguilar, M., y Montoya, J. (2015). Evaluación de la política educativa en Medellín entre los años 2003 y 2011 con base en el puntaje de las Pruebas Saber 11° (Tesis de maestría). Universidad EAFIT. https://core.ac.uk/download/pdf/47250757.pdf

Alonso, J. C., Díaz, D., Martínez, D., Mayora, C., Moreno, L., Ochoa, M., y Roldán, B. (2017). Bilingüismo en Santiago de Cali: Análisis de la evolución de los resultados de las Pruebas SABER 11. Universidad Icesi.

Alonso, J. C., Gallo, B. E., y Torres, G. (2012). Elementos para la construcción de una política pública de bilingüismo en el Valle del Cauca: un análisis descriptivo a partir del censo ampliado de 2005. Estudios Gerenciales, 28(125), 59-67. https://doi.org/10.1016/S0123-5923(12)70008-6

Artieda, G. (2017). The role of L1 literacy and reading habits on the L2 achievement of adult learners of English as a foreign language. System, 66(1), 186-176. https://doi.org/10.1016/j.system.2017.03.020

Bahanshal, D. A. (2013). The effect of large classes on English teaching and learning in Saudi secondary schools. English Language Teaching, 6(11), 49-59. http://dx.doi.org/10.5539/elt.v6n11p49

Baker, C. (2001). Foundations of bilingual education and bilingualism (3° Ed.). Multilingual Matters Ltd.

Banfi, C. (2017). English language teaching expansion in South America: Challenges and opportunities. In L. D. Kamhi-Stein, G. H. Diaz Maggioli, & L. de Oliveira (Eds.), English language teaching in South America: Policy, preparation and practices (pp.13-30). Multilingual Matters. https://doi.org/10.21832/KAMHI7975

Bourdieu, P. (1987). Los tres estados del capital cultural. Sociológica, 5(2), 1-17. https://dialnet.unirioja.es/servlet/articulo?codigo=4397531

Clarke, M. (2003). La hipótesis del corto circuito en la lectura en inglés como segunda lengua -o cuando la competencia lingüística interfiere con la lectura. En E. Rodríguez y E. Lager (Eds.), La lectura (pp. 115-130). Programa Editorial Universidad del Valle.

Congreso de la República de Colombia. (8 de febrero de 1994). Ley 115, Ley General de Educación. DO: 41.214.

Congreso de la República de Colombia. (11 de julio de 1994). Ley 142, por la cual se establece el régimen de los servicios públicos domiciliarios y se dictan otras disposiciones. DO: 41.433.

Consejo de Europa. (2002). Marco común europeo de referencia para las lenguas: Aprendizaje, enseñanza y evaluación (trad. Instituto Cervantes). Ministerio de Educación, Cultura y Deporte, Subdirección General de Cooperación Internacional.

Consejo Nacional de Política Económica y Social República de Colombia –CONPES-. (2006). Lineamientos para la focalización del gasto público. Departamento Nacional de Planeación. https://colaboracion.dnp.gov.co/CDT/Conpes/Social/100.pdf

Corbetta, P. (2007). Metodología y técnicas de investigación social. McGraw Hill Interamericana.

Correa, D., & González, A. (2016). English in public primary schools in Colombia: Achievements and challenges brought about by national language education policies. Education Policy Analysis Archives, 24(83), 2-26. https://doi.org/10.14507/epaa.24.2459

Correa, J. J. (2004). Determinantes del rendimiento educativo de los estudiantes de secundaria en Cali: un análisis multinivel. Sociedad y Economía, (6), 81-105. http://sociedadyeconomia.univalle.edu.co/index.php/sociedad_y_economia/article/view/3866

Cummins, J. (1979). Linguistic interdependence and the educational development of bilingual children. Review of Educational Research, (49), 221–251. https://doi.org/10.3102/00346543049002222

Departamento Nacional de Planeación –DNP-. (2014). Bases del Plan nacional de Desarrollo 2014-2018. Todos por un nuevo país. DNP. https://colaboracion.dnp.gov.co/CDT/PND/PND%202014-2018%20Tomo%201%20internet.pdf

De Mejía, A.M. (2005). Introduction. En A.M. De Mejía (Ed.), Bilingual Education in South America (pp. vi-xi). Multilingual Matters.

Evans, M. D. R., Kelley, P., & Kelley, J. (2017). Identifying the best times for cognitive functioning using new methods: Matching university times to undergraduate chronotypes. Frontiers in Human Neuroscience, (11), 1-11. https://doi.org/10.3389/fnhum.2017.00188

Finney, D. (2002). The ELT curriculum: A flexible model for a changing world. En J. C. Richards & W. Renandya (Eds.), Methodology in language teaching. An anthology of current practice (pp. 69-79). Cambridge University Press.

Giraldo-Plaza, J. E., y Ovalle-Carranza, D. A. (2020). Modelado de la gestión curricular basada en procesos de negocio sensibles al contexto. Revista CEA, 6(12), 129-146. https://doi.org/10.22430/24223182.1526

Glas, K. (2008). El inglés abre puertas ¿a qué? Análisis del discurso sobre la enseñanza del inglés en Chile, 2003-2006. Revista Educación y Pedagogía, 20(51), 111-122. https://pdfs.semanticscholar.org/e30e/7da3d3e9482411f33160151f3cbc3c5be63d.pdf

Gómez Sará, M. M. (2017). Review and analysis of the Colombian foreign language bilingualism policies and plans. HOW, 24(1), 139-156. https://doi.org/10.19183/how.24.1.343

Hickson, J., Land, A., & Aikman, G. (1994). Learning style differences in Middle School pupils from four ethnic backgrounds. School Psychology International, 15(4), 349-359. https://doi.org/10.1177/0143034394154003

Hou, Y. (2015). An investigation of social factors in children’s foreign language learning—a case study of Taiwanese elementary school students. Open Journal of Modern Linguistics, 5(2), 105-119. http://dx.doi.org/10.4236/ojml.2015.52010

Instituto Colombiano para la Evaluación de la Educación –ICFES-. (2017). Guía de orientación: Saber 11°. 2017-1 (4° Ed.). ICFES. http://www.icfes.gov.co/documents/20143/177687/Guia%20de%20orientacion%20saber%2011-2017-1.pdf

Instituto Colombiano para la Evaluación de la Educación –ICFES-. (2018). Reporte de resultados del examen Saber 11 por aplicación. ICFES. http://www2.icfesinteractivo.gov.co/resultados.php

Kahn-Horwitz, J., Shimron, J., & Sparks, R. (2006). Weak and strong novice readers of English as a foreign language: Effects of first language and socioeconomic status. Annals of Dyslexia, 56(1), 161-185. https://doi.org/10.1007/s11881-006-0007-1

Kamwangamalu, N. M. (2010). Multilingualism and code-switching in education. En N. Hornberger & S. L. McKay (Eds.), Sociolinguistics and language education (pp. 116-138). Multilingual Matters.

Krashen, S. D., & Brown, C. L. (2005). The ameliorating effects of high socioeconomic status: A secondary analysis. The Journal of the National Association for Bilingual Education, 29(1), 185-196. https://doi.org/10.1080/15235882.2005.10162830

Leiva, B. (2007). Reconsiderando a Alderson: La lectura del inglés como idioma extranjero. ¿Un asunto de lectura o una cuestión de lenguaje? Lenguas Modernas, (32), 35-62. https://lenguasmodernas.uchile.cl/index.php/LM/article/view/45343/47404

Mayora, C., y Gutiérrez, D. (2019). Análisis del currículo del área de inglés en escuelas oficiales de Cali. Lenguaje, 47(2S), 685-707. http://revistalenguaje.univalle.edu.co/index.php/lenguaje/article/view/7519/11206

Mejía-Mejía, S. (2016). ¿Vamos hacia una Colombia bilingüe? Análisis de la brecha académica entre el sector público y privado en la educación del inglés. Educación y Educadores, 19(2), 223-237. http://dx.doi.org/10.5294/edu.2016.19.2.3

Ministerio de Educación Nacional –MEN-. (2006). Estándares Básicos de Competencias en Lenguas Extranjeras: Inglés. MEN. https://www.mineducacion.gov.co/1759/articles-115174_archivo_pdf.pdf

Ministerio de Educación Nacional –MEN-. (2016a). Derechos básicos de aprendizaje: Inglés, Grados 6° a 11°. https://aprende.colombiaaprende.edu.co/ckfinder/userfiles/files/cartillaDBA.pdf

Ministerio de Educación Nacional –MEN-. (2016b). Esquema curricular sugerido. Grados 6° a 11°.https://aprende.colombiaaprende.edu.co/sites/default/files/naspublic/Anexo%2012%20Esquema%20Curricular%20Espa.pdf

Ministerio de Educación Nacional –MEN- (2018). Informe de gestión 2017. MEN. https://www.mineducacion.gov.co/1759/articles-362777_recurso_10.pdf

Ministerio de Educación, República de Panamá –MEDUCA-. (2017). ¿Qué es Panamá Bilingüe?http://panamabilingue.com/es/que-es-panama-bilinguee

Miranda, N. (2016). Bilingual Colombia Program: Curriculum as product, only? Working papers in educational linguistics, 31(2), 19-38. https://repository.upenn.edu/cgi/viewcontent.cgi?article=1286&context=wpel

Pamplon-Irigoyen, E. N., y Ramírez Romero, J. L. (2018). Los libros de texto para la enseñanza en las escuelas primarias públicas mexicanas y su congruencia con el enfoque oficial. Íkala, Revista de Lenguaje y Cultura, 23(1), 141-157. http://dx.doi.org/10.17533/udea.ikala.v23n01a10

Pope, N. G. (2016). How the time of day affects productivity: Evidence from school schedules. The Review of Economics and Statistics, 98(1), 1-11. https://www.mitpressjournals.org/doi/pdf/10.1162/REST_a_00525

Rodríguez, C. F. (2016). Socioeconomic factors and outcomes in higher education: A multivariate analysis. Universidad Externado de Colombia.

Ruiz, R., Arévalo, J., Morillo, G., y Acosta, P. (2018). Análisis de componentes principales aplicado a la prueba estatal colombiana Saber 11. Espacios, 39(10), 1-12. http://www.revistaespacios.com/a18v39n10/18391001.html

Sánchez Jabba, A. (2013). Bilingüismo en Colombia. Centro de Estudios Económicos Regionales y Banco de la República.

Sierra-Ospina, N., Lopera-Medina, S., Henao, C., y Quintero-Pulgarín, V. (2020). Interpretación y apropiación de una política lingüística: voces de estudiantes del área de la salud en una universidad pública. Revista Virtual Universidad Católica del Norte, (61), 42-65. https://www.doi.org/10.35575/rvucn.n61a4

Sirin, S. R. (2005). Socioeconomic status and academic achievement: A meta-analytic review of research. Review of Educational Research, 75(3), 417-453. https://journals.sagepub.com/doi/pdf/10.3102/00346543075003417

Sung, K., Padilla, A., & Silva, D. (2006). Foreign language education, academic performance, and socioeconomic status: A study of California schools. Foreign Language Annals, 39(1), 115-130. https://doi.org/10.1111/j.1944-9720.2006.tb02253.x

Usma, J. (2015). From transnational language policy transfer to local appropriation. The case of the National Bilingual Program in Medellín, Colombia. Deep University Press.

Watson Todd, R. (2012). The effects of class size on English learning at a Thai university. ELT Research Journal, 1(1), 80-88. https://dergipark.org.tr/download/article-file/63598

Wei, L. (2017). Translanguaging as a practical theory of language. Applied Linguistics, 39(1), 9-30. https://doi.org/10.1093/applin/amx039

HTML generado a partir de XML-JATS4R por