Secciones
Referencias
Resumen
Servicios
Descargas
HTML
ePub
PDF
Buscar
Fuente


La desigualdad de los resultados educativos en Latinoamérica: un análisis desde PISA
The Inequality of Educational Outcomes in Latin America: an Analysis from PISA
Revista Latinoamericana de Estudios Educativos (México), vol.. XLVIII, núm. 2, 2018
Universidad Iberoamericana, Ciudad de México

Diálogo informado

La Revista Latinoamericana de Estudios Educativos está editada y dispuesta en forma gratuita en un micrositio específico de la página WEB de la Universidad Iberoamericana, y en los índices y hemerotecas virtuales donde se aloja y logre ubicarse en adelante, pues se encuentra adherida al movimiento mundial de acceso abierto que descansa en las declaraciones BBB: Budapest (BOAI, 2002), Berlín (2003) y Bethesda (2003), en conformidad con lo cual es signataria de DORA.

Recepción: 02 Noviembre 2018

Aprobación: 14 Diciembre 2018

Resumen: Se realiza un análisis sobre la definición de calidad educativa, de la desigualdad en educación y de cómo ésta ha sido estudiada en los reportes de evaluación educativa. En esta tónica, se discute cómo, la mayoría de los informes, centran su estudio en el reporte de la tendencia central de los indicadores e índices. En el caso del rendimiento escolar, el análisis de pruebas estandarizadas brinda información sobre la eficacia de los sistemas educativos. A la luz de lo anterior y, con base en las pruebas de Matemáticas y Lectura PISA 2015 (OCDE, 2018a), se realiza un análisis de los resultados focalizándolo en países latinoamericanos y en la discusión sobre la dispersión y forma de la distribución de los puntajes. A partir de éste, se propone al cálculo del coeficiente de variación y del coeficiente de asimetría como alternativas que permiten brindar información acerca de la calidad de los sistemas educativos desde la equidad. Finalmente, los resultados muestran que la mayoría de los países latinoamericanos, además de poseer puntajes por debajo de la media de los países evaluados, muestran distribuciones heterogéneas con una alta asimetría negativa. Con base en lo anterior, se propone discutir quiénes son los estudiantes que, en países con este tipo de rendimiento promedio, obtienen puntajes atípicamente bajos. En Latinoamérica, sería de especial importancia retomar teorías de justicia y derecho a la educación desde una tendencia compensatoria (Latapí, 1993) que generara instituciones resilientes (Muñoz, 2009).

Palabras clave: equidad educativa, pruebas estandarizadas, evaluación de sistemas, rendimiento escolar.

Abstract: This document analyzes the definition of educational quality, the inequality in education and how it has been studied and reported in educational evaluation reports. In this regard, it is discussed how most of the reports focus their analysis on the central tendency of indicators and indices. Thus, in the case of school performance, the study of standardized tests provides information on the effectiveness of educational systems. In light of the above and, based on the PISA 2015 Mathematics and Readings tests (OECD, 2018a), an analysis of the results is carried out, focusing the analysis on Latin American countries and on the discussion on the dispersion and distribution form of the scores. Based on these analyzes, it is proposed to calculate the variation coefficient and the skewness coefficient as alternatives that complement the information of educational systems from an equity perspective. Finally, the results show that most of the Latin American countries, in addition to having scores below the average of the countries evaluated, are heterogeneous and have highly negative skewness. In this sense, it would be important to discuss who are the students who, in countries with this type of average performance, obtain atypically low scores. Thus, in Latin America, it would be especially important to rethink and reflect about theories of justice and the right to education from a compensatory point of view (Latapí, 1993) that would generate resilient institutions (Muñoz, 2009).

Keywords: educational equity, standardized tests, system evaluation, school and students performance.

La calidad en la educación

La idea de calidad en educación es entendida de muy diferentes maneras (De la Orden, et al., 1997; Muñoz, 2009). Debido a esta polisemia y con el fin de clarificar el abordaje que se empleará en el presente documento, se ha optado por retomar elementos que la enmarcan desde el paradigma sistémico (Stufflebeam y Shinkfield, 1987; Bauselas, 2003). Desde esta perspectiva, la educación puede ser representada a través de diversos componentes que interactúan constantemente. Éstos son el contexto, las entradas o insumos, los procesos y los productos (Stufflebeam y Shinkfield, 1987). Dependiendo de la relación de éstos y su coherencia es posible definir diferentes concepciones de lo que se entiende por calidad educativa.

De esta forma, para De la Orden (et al., 1997) el concepto de eficacia se entendería como una relación de coherencia entre los productos de la educación y las metas y objetivos definidos previamente; la eficiencia sería la optimización de la coherencia entre los insumos, los procesos y los productos logrados; la relevancia y la pertinencia como el logro de coherencia entre propósitos, insumos, procesos y productos y las necesidades sociales; la equidad como el logro de la masificación equitativa de la eficacia, la eficiencia, la relevancia y la pertinencia en todos los actores e instituciones involucrados en el sistema. Estas definiciones han sido complementadas y refrendadas por otros autores (cfr. Schmelkes, 2018).

En el caso específico de México (y de algunos otros países latinoamericanos), la política educativa ha transitado de un énfasis en el logro de la cobertura universal, a otro en el logro de aprendizajes básicos indispensables por parte de todos los estudiantes de la sociedad (Latapí, 2009). Este tránsito revela el énfasis que ha puesto el Estado en términos de calidad educativa, e incluso parecería que las políticas públicas sugieren que ésta puede entenderse desde la equidad en los logros.

Al respecto, la eficacia y la equidad son justamente los dos elementos que Bracho (2018, p. 26) identifica como un “piso básico para evaluar los avances en materia de calidad”. Estos dos elementos también aluden a lo que Pablo Latapí (1993) señalaba sobre la idea de justicia en educación pues, tras evocar la idea griega y clásica sobre la justicia en educación, entendida desde el mérito que da a cada quien lo que le corresponde, puntualiza, con base en las teorías contemporáneas de su tiempo, la necesidad de nivelar el terreno de juego entre los más desaventajados. Bajo esta lógica y en última instancia, para Latapí (1993) la justicia en educación implica la búsqueda del logro del derecho a la educación en todos los sectores sociales y culturales, no sólo en cuanto al acceso a la misma sino, precisamente, en cuanto al logro de la equidad.

Factores socioeconómicos, desigualdad y calidad educativa

Las sociedades de los países latinoamericanos se identifican por sus dificultades en el logro de la equidad: “la desigualdad es una característica histórica y estructural de las sociedades de América Latina y el Caribe, que se manifiesta a través de múltiples circuitos viciosos” (Bárcena, 2017, párr. 4). Y es justo por este panorama que la educación enfrente múltiples y complejos retos.

Con la finalidad de despejar la complejidad que la pobreza y la desigualdad traen a la escena educativa es importante plantear un caso conocido de la década de los sesenta, cuando una de las naciones más ricas y prósperas del mundo se reconocía a sí misma en grave riesgo. Estados Unidos de Norteamérica había solicitado un estudio para conocer el estado del sistema educativo y, más específicamente, el efecto de la segregación de los grupos minoritarios en docentes y estudiantes, y su repercusión en el desempeño académico de estos últimos. El documento que relata los hallazgos de este estudio se conoce como el reporte “Coleman”, llamado así porque fue dirigido por James S. Coleman (1964), sociólogo americano por la Universidad de Purdue.

En este reporte se discutía, como uno de los mayores hallazgos, que los estudiantes afroamericanos eran especialmente segregados y, además, mucho más vulnerables al efecto que podría producir una escuela de mala calidad, en comparación con estudiantes blancos. Además, mencionaba que, cuando se tomaba en cuenta y se controlaba la variable socioeconómica, las diferencias entre las escuelas sólo pesaban una pequeña fracción en las diferencias en el rendimiento de sus estudiantes.

Investigaciones posteriores y en la misma línea de Coleman (1964) permitieron poner en relieve que la pobreza de la comunidad escolar incide mucho más que la pobreza individual y que el contexto del hogar parecía ser el factor más importante y con mayor influencia en los resultados del aprendizaje “en todos los países, en todas las edades y, por tanto, para todos” (Van der Berg, s. f.).

A pesar de la fama que alcanzó el reporte Coleman (1964), la posibilidad de replicarlo era difícil hacia el inicio de la segunda mitad del siglo XX. No fue sino hasta el surgimiento de las computadoras, que facilitaban el cálculo de estudios multinivel, así como la creación de grandes centros de evaluación con pruebas estandarizadas y cuestionarios de contexto, que se facilitó la realización de este tipo de estudios (Martínez, 2010).

Casi más de medio siglo después, y ya en México, estudios como el de Schmelkes (2005) y Blanco (2011) vendrían a realizar afirmaciones muy similares a las de aquel reporte Coleman (1964). Así, en el estudio elaborado por Schmelkes (2005, p. 26) donde se compara el rendimiento de escuelas de cinco diferentes zonas económicas del estado de Puebla, se concluye que “el sexto grado de las zonas rurales y marginales equivale, en resultados de aprendizaje, a menos –y en algunos casos a mucho menos– del cuarto grado en las escuelas de la zona urbana de clase media”.

Por otra parte, Blanco (2011, pp. 343-344) emplea como base los resultados de las pruebas aplicadas por el Instituto Nacional de Evaluación para la Educación (INEE) y concluye que “la capacidad de las escuelas para incidir de manera diferencial en los aprendizajes es considerablemente limitada en comparación con el peso de las condiciones socioculturales de los alumnos y del entorno de la propia organización”.

Finalmente, la literatura producida por organizaciones internacionales como los estudios elaborados por la Organización para la Cooperación y el Desarrollo (OCDE, 2016), que emplean las pruebas PISA y sus cuestionarios de contexto como base de su análisis, afirman que “en el caso de los alumnos con un bajo rendimiento, la combinación de factores de riesgo es más perniciosa para alumnos socioeconómicamente desfavorecidos que para los favorecidos”. En esta tónica, el mismo estudio menciona que existe 83% de probabilidad de que se presentará un bajo rendimiento en una alumna desfavorecida socioeconómicamente, de familia monoparental, proveniente de una zona rural, inmigrante, cuyo primer idioma sea diferente al que hablen en sus clases y que no haya cursado preescolar. En otras palabras, la literatura parece tener relativo consenso, independientemente de la década y del contexto, de la importancia del factor socioeconómico en el aprendizaje de los estudiantes.

Con base en lo anterior, sería lógico afirmar lo que “algunas personas [piensan acerca de que] no habría más remedio que esperar a que las desigualdades sociales desaparezcan o se reduzcan, gracias a otro tipo de políticas y esfuerzos, para que los resultados educativos pudieran mejorar y las disparidades que muestran se redujeran también” (INEE, 2008).

Sin embargo, pocos años después de la aparición del reporte Coleman (1964) se hizo una declaración que, por importante que parezca, no tuvo mayor eco. Los mismos investigadores del reporte y otros académicos que analizaron las bases de datos llegaron a la conclusión de que subestimaron el impacto de la escuela sobre los resultados académicos (Bereniste et al., 2003, en Martínez, 2010).

Se comenzó a cuestionar seriamente sobre algunas dificultades metodológicas y conceptuales del análisis estadístico realizado por el equipo. En primer lugar, se mencionó la dificultad que tuvo Coleman (1964) y otros estudios similares para cuantificar los insumos y el rendimiento de los estudiantes1 y se repensaron aspectos claves como el hecho de que las escuelas públicas no parecían variar mucho en sus insumos (Kain y Singleton, 1996). Aunado a esto, surgían preguntas sobre el tipo de análisis empleado en estos estudios, en los que se confunde y abusa de la interpretación del análisis de varianza (Martínez, 2010).

Al revisar otros estudios se puede constatar que no todo apunta en favor de la tesis reproduccionista planteada con anterioridad. Desde estudios clásicos, como los realizados por Bloom (1976, en López, 2009), hasta investigaciones más recientes como las de Walberg (1984, en López, 2009), Entwistle, Alexander y Olson (1997, en Martínez, 2010), Van der Berg (s. f.), Hanushek y Wöbman (2007), INEE (2007), así como metaanálisis como el de Fraser (et al., 1987, en López, 2009) que señalan evidencias contrarias y develan la posibilidad de la escuela para incidir directamente en la vida de los estudiantes.

Lo anterior tuvo especial auge gracias a la existencia de escuelas atípicas que se destacaban por contravenir lo antes descrito. De hecho, son este tipo de escuelas las que dieron origen, en un primer momento, al movimiento denominado “escuelas eficaces”.

Este movimiento, surgido en la década de los setenta y consolidado en la de los ochenta en Inglaterra y Estados Unidos (Baes, 1994), generarían trabajos que permitirían dar un cambio al discurso sobre el rendimiento escolar y los factores asociados a éste. En esta tónica, el abordaje que habría de caracterizar a estas obras sería de corte cualitativo, empleando estudios de caso, trabajos fenomenológicos y análisis hermenéuticos.

De los trabajos más citados en este movimiento se refiere comúnmente al estudio de Edmonds (1982, en Baes, 1994) donde se concluye que las escuelas eficaces son aquellas que poseen:

Un fuerte liderazgo del director, que presta especial atención a la calidad de la enseñanza.

Altas expectativas sobre las posibilidades de aprendizaje de todos los alumnos.

Una atmósfera ordenada, segura y que facilita tanto el aprendizaje como la enseñanza.

Un fuerte énfasis en el logro de habilidades básicas.

Frecuentes evaluaciones y controles de rendimiento.

Coherente con lo anterior, resulta de interés advertir que los estudios de la OCDE (2016) refrendan enfáticamente la importancia del liderazgo de los directivos para la generación de altas expectativas sobre los estudiantes, y los propios Schmelkes (2005) y Blanco (2011) reconocen el papel que los directivos de las escuelas tienen para el logro educativo. En una misma tónica, será Muñoz (2009) quien, en diversas ocasiones, reiterará el papel que tienen algunos actores como el director, para “blindar” las instituciones educativas ante factores como el origen socioeconómico de los estudiantes. Muñoz (2009) denominará a este tipo de planteles escuelas resilientes.

Bajo esta perspectiva, se pensaría que la variación en la eficacia docente se da en función de las capacidades, la motivación y el compromiso, las características de los materiales, la infraestructura y las condicionantes externas (como las políticas públicas) de las escuelas. Y en todo esto los directores, como líderes en la escuela, juegan un papel crítico al identificar y apoyar las oportunidades de aprendizaje, estructurar las condiciones de interacción social y mediar con las exigencias y demandas externas (Leithwood, Seashore, Anderson y Wahlstrom, 2016).

El estudio de la calidad y la desigualdad educativa

El análisis de la calidad educativa tiende a realizarse desde la descripción de indicadores sobre insumos, procesos y resultados del sistema educativo, de los estados, de las escuelas o instituciones educativas e incluso de los estudiantes que las conforman. Un ejemplo de estos estudios puede ser el elaborado por Backhoff (2018) para México, o el elaborado por el Ministerio de Educación Nacional (2016) para Colombia. Así pues, indicadores de infraestructura, de tasa de absorción, de demografía sobre los estudiantes y docentes, son el tipo de información más comúnmente reportada. A pesar de contar con este tipo de datos, existen pocos análisis sobre algunos subsectores como la educación particular (cfr. Aguilera, 2018).

Finalmente, cuando se busca evaluar el producto de la educación, el centro del análisis reside en los resultados de aprendizaje de los estudiantes.2 Sin duda, éste es uno de los puntos más acalorados en el debate de la evaluación educativa contemporánea. Por una parte, existen voces que reclaman airadamente su uso exclusivo como indicador del logro del aprendizaje, máxime cuando las condiciones sociales y educativas son poco parejas para los evaluados (Díaz Barriga, 2001). A pesar de esto, al día de hoy son limitadas las formas de contar con información válida, confiable y representativa del rendimiento escolar de los estudiantes. Vale aclarar que, debido a la necesidad de obtener información de carácter representativo, que permita realizar inferencias sobre países enteros, es difícil recurrir a otro tipo de métodos de corte más cualitativo. Este tipo de evaluaciones son más propias del estudio y trabajo en el aula (cfr. Morán, 2017).

Así pues, en el caso de los reportes de resultados sobre aprendizaje, éstos tienden a emplear pruebas estandarizadas que centran sus análisis en las medias, sus errores estándares y otras medidas de la tendencia central del rendimiento (cfr. Martínez Rizo y Díaz, 2016; OCDE, 2018b). Pocos son los estudios que se centran en la dispersión o caracterización de las distribuciones de los puntajes de las pruebas.

En esta línea, al tratar sobre el análisis de los resultados de aprendizaje, el tipo de uso de los datos refiere a la calidad, entendida desde la eficacia. Es decir, si el promedio de un conjunto de estudiantes cumple el nivel de desempeño esperado, se diría que el sistema educativo, en su conjunto, logra ser eficaz. Sin embargo, el análisis de la dispersión y forma de las distribuciones podría contribuir al análisis de calidad de la educación desde la equidad. Entendiendo, así, que no sólo es importante obtener un puntaje promedio satisfactorio, sino buscar que, en la medida de lo posible, no existen estudiantes con niveles no satisfactorios y que, a la vez, los estudiantes con posibilidades de sobresalir lo puedan hacer. Bajo esta idea, si el estudiante, escuela o país logra un rendimiento medio satisfactorio, una segunda característica de los datos debería ser que éstos tuvieran una homogeneidad aceptable y que, a su vez, exista la posibilidad de contar con casos atípicos a la derecha de la distribución (si la escala de medición lo permite) que representaría a los alumnos de alto rendimiento.

Es justo desde estas ideas que el presente trabajo buscará ahondar, desde los resultados educativos de países de Latinoamérica, la idea de calidad educativa desde la eficacia y la equidad, al emplear datos de una de las pruebas más citadas y empleadas como indicador para la evaluación de los sistemas educativos.

Método

El Programa Internacional para la Evaluación de los Estudiantes (PISA, por sus siglas en inglés, OCDE, 2018a) es y ha sido un referente internacional para la evaluación de los aprendizajes esenciales de estudiantes de 15 años en el mundo. En este sentido, una primera aproximación al análisis de la desigualdad en los logros educativos puede partir del análisis de los resultados de esta prueba. La última aplicación de la que se tienen liberados resultados al momento de la escritura de este manuscrito son los datos de la de 2015 (n=70 países). Es importante mencionar que, para la finalidad de este documento, se utilizarán los datos de las pruebas de Matemáticas y Lectura. Los análisis serán realizados empleando el paquete estadístico R y Rstudio empleando las bibliotecas psych, sp, tmap, tmaptools, sf y leaflet.

Resultados

Los países Latinoamericanos de los cuales se dispone información son Argentina, Brasil, Chile (miembro de la OCDE), Colombia, Costa Rica, República Dominicana, México (miembro de la OCDE), Perú y Uruguay. En esta tónica, las figuras 1 y 2 que se muestran tienen por objeto mostrar el rendimiento medio de los estudiantes de los países Latinoamericanos:


Figura 1.
Promedio de países Latinoamericanos en la prueba de Matemáticas, PISA 2015


Figura 2.
Promedio de países Latinoamericanos en la prueba de Lectura, PISA 2015

Como es posible apreciar en las figuras anteriores, el rendimiento medio de los países Latinoamericanos suele ubicarse por debajo de la media de los países que toman la prueba PISA. Esto es consistente tanto en los puntajes de la prueba de Matemáticas (prueba t para datos independientes, t=6.80, gl=15.82, p<0.000, media LA=393, media otros países=471), como en los puntajes de la prueba de Lectura (prueba t para datos independientes, t=4.40, gl=16.22, p<0.000, media LA= 418, media otros países=467). Es de notar que la diferencia del rendimiento parecería no ser tan extrema en Lectura (d de Cohen= 1.23) en comparación con Matemáticas (d de Cohen= 1.94).

Al hacer estas comparaciones es importante notar que, entre los países de los que se cuenta con datos, 2 de los 9 de Latinoamérica son miembros de la OCDE, mientras que 32 de los 61 que no son latinoamericanos, son miembros de esta organización. Es decir, existe una proporción importante de países miembros de la OCDE contra los que han sido comparados los países latinoamericanos y que se caracterizan por ser naciones desarrolladas. El cuadro 1 muestra la distribución de la muestra que será empleada para dichas comparaciones:

Cuadro 1
Distribución de los países de los que se dispone de información en PISA 2015 según si pertenecen a la OCDE y si son latinoamericanos

Sin embargo, si la lectura del rendimiento se concentra, no sólo en el rendimiento promedio, sino en el grado de homogeneidad y heterogeneidad de los resultados, la interpretación parecería enriquecerse. A partir de este punto, se realizarán análisis de datos contemplando tres grupos, 1) países pertenecientes a la OCDE, exceptuando a Chile y a México, 2) países de Latinoamérica y 3) países que aplicaron la prueba, pero no pertenecen ni a la OCDE ni a Latinoamérica. Las figuras 3 y 4 se muestran con la distribución de la desviación estándar de los resultados en Matemáticas y Lectura:


Figura 3
Desviación estándar en la prueba de Matemáticas, PISA 2015


Figura 4.
Desviación estándar en la prueba de Lectura, PISA 2015

Como es posible apreciar en las dos figuras anteriores, los países latinoamericanos, a excepción de Brasil, no son los que parecerían tener una mayor heterogeneidad en sus resultados. Países como Francia, China, Australia, entre otros, parecen ser mucho más heterogéneos, tanto en Matemáticas (Post Hoc de Duncan, 3.93, gl=13.64, p<0.000), como en Lectura (Post Hoc de Duncan, p<0.05). Esto se puede explorar más a detalle si se clasifica a los países en tres: los países latinoamericanos, los países pertenecientes a la OCDE (exceptuando Chile y México) y no pertenecientes a la OCDE ni a Latinoamérica (figura 5).


Figura 5.
Distribución de las desviaciones estándar de los países en Matemáticas (izquierda) y Lectura (derecha) en PISA 2015

A partir de la figura anterior, parecería que los países latinoamericanos son, de hecho, los países con menor heterogeneidad de sus datos. Por el contrario, son los países de la OCDE los que obtienen puntajes más heterogéneos. A primera vista, esto podría sonar contraintuitivo, debido a que, por lo menos en otras métricas (como las económicas), Latinoamérica resulta ser caracterizada por su gran desigualdad y con ella por su heterogeneidad.

Justo en este punto vale la pena detenerse a pensar si la desviación estándar es la mejor medida de variación para el caso de las pruebas PISA. Una alternativa, de simple cómputo, es el coeficiente de variación (CV), estadígrafo de común uso en las ciencias exactas y naturales. Una desventaja de la desviación estándar radica en el hecho de que ésta depende de las unidades de medida y por esto mismo es difícil su uso para comparar mediciones de poblaciones o instrumentos que son diferentes (Brase y Brase, 2017). Su cálculo es simple; para obtener el coeficiente de variación, se divide la desviación estándar por la media. El coeficiente se expresa en porcentaje e indica qué tan grande es la desviación estándar respecto a la media. La fórmula de éste se expresa a continuación (figura 6):


Figura 6.
Fórmula para el cálculo del coeficiente de variación (Brase y Brase, 2017)

En este sentido, se realizó el cálculo del coeficiente de variación de todos los n=70 países de los cuales se disponía información sobre PISA (OCDE, 2018b). Las figuras 7, 8 y 9 tienen por objeto describir el coeficiente de variación tanto para la prueba de Matemáticas como para la de Lectura.

A partir de estas imágenes, es posible advertir cómo el coeficiente de variación representa la dispersión de los datos, tomando en cuenta la media de cada uno de los países. En este sentido, para Matemáticas, los países latinoamericanos parecen tener un coeficiente de variación mayor que el de los países de la OCDE (Post Hoc de Duncan, con p<0.05 en Matemáticas y en Lectura p>0.05).


Figura 7.
Coeficiente de variación en Matemáticas, PISA 2015


Figura 8.
Coeficiente de variación en Lectura, PISA 2015


Figura 9.
Distribución del coeficiente de variación (CV) de los países en Matemáticas (izquierda) y Lectura (derecha) en PISA 2015

Con base en las figuras 7, 8 y 9 se advierte cómo los coeficientes de variación de los países latinoamericanos son mayores a los de la OCDE. Esto revela que, aunque la desviación estándar sugiere que la heterogeneidad en los países de la OCDE es mayor que en los latinoamericanos, al tomar en cuenta la media de los puntajes, el coeficiente de variación revela que la dispersión de los datos de los países latinoamericanos es mayor en comparación a los de la OCDE.

Finalmente, a partir del análisis de la media y del coeficiente de variación, se obtuvo un panorama de dos elementos sobre el rendimiento en la prueba PISA: en el caso de la media, permite el analizar la calidad educativa en términos de eficacia, mientras que, en el caso del coeficiente de variación, brinda un primer insumo para el análisis de la calidad educativa entendida en términos de equidad.

Ahora bien, un último insumo que sería de interés para poder caracterizar a los países puede ser la asimetría de cada uno de estos. El coeficiente de asimetría permite identificar si una distribución es simétrica o si presenta casos extremos positivos o negativos. En este sentido, si el coeficiente es menor a -1 sugeriría la existencia de datos atípicos a la izquierda de la distribución y si es mayor a +1 sugeriría la existencia de datos atípicos a la derecha de la distribución (Brase y Brase, 2017). Los siguientes mapas tienen por objeto el mostrar las asimetrías de los países en PISA 2015:


Figura 10
Asimetría de los países para Matemáticas en PISA 2015


Figura 11.
Asimetría de los países para Lectura en PISA 2015

Así, con base en las figuras 10 y 11, se puede notar que las asimetrías más pronunciadas en el caso de Matemáticas corresponden a países latinoamericanos (Post Hoc de Duncan, p<0.000). Esto sucede de manera similar, aunque menos pronunciada en el caso de la prueba de Lectura (Post Hoc de Duncan, p<0.000).


Figura 12.
Distribución del coeficiente de asimetría (CV) de los países en Matemáticas (izquierda) y Lectura (derecha) en PISA 2015

Con este último coeficiente (figura 12), se pueden observar las diferencias en la distribución de los puntajes de los países de Latinoamérica y los de la OCDE. Las diferencias son notorias y resalta el hecho de que, aunque la media de los puntajes en los países latinoamericanos es menor a la media de los países de la OCDE, la asimetría de los primeros (los países de Latinoamérica) es negativa. Es decir, que los países de Latinoamérica poseen puntajes extremos del lado inferior de la distribución, lo que en otras palabras significa la existencia de alumnos atípicamente bajos para países donde los puntajes son, de por sí, bajos. Esto complementa el análisis de la calidad educativa entendido como equidad y a la vez se refuerza al contemplar el coeficiente de variación y notar que este es mayor en países latinoamericanos en comparación con los países de la OCDE. Es en este punto donde surgen tres preguntas de relevante reflexión, ¿Quiénes son los alumnos que obtienen puntajes atípicamente bajos de los países latinoamericanos?, ¿cuáles son sus características?, y ¿por qué tienen este rendimiento atípicamente bajo?

A este punto, los análisis mostrados sugieren la importancia de considerar, más que el rendimiento medio de los países, el análisis a profundidad de la forma de la distribución de dicho rendimiento. Así, al contemplar la media, el coeficiente de variación y el coeficiente de asimetría, se podría hablar de la existencia de los siguientes tipos de países según la distribución de su rendimiento, según se muestra en el cuadro 2.

A partir de dicho cuadro, es posible advertir la existencia de diferencias características de los países latinoamericanos con el resto de los evaluados. Estos países parecían distribuirse en la parte inferior del cuadro, mientras que los países de la OCDE se encontraban distribuidos en la parte superior y el resto de los países, que no eran latinoamericanos o de la OCDE, se distribuían a lo largo de todo el cuadro. Destaca también que los países latinoamericanos eran caracterizados con asimetría negativa y con coeficientes de variación, en su mayoría, altos. Así pues, los resultados educativos de Latinoamérica refrendan la existencia de una dificultad por alcanzar la calidad de los resultados educativos tanto si se entiende la calidad como eficacia, como si se la entiende en términos de equidad.

Cuadro 2.
Análisis de rendimiento de países en PISA 2015 considerando media, dispersión y asimetría (creación original)

Nota *Países “OCDE” excluyen a Chile y México. El rendimiento promedio era “alto” cuando superaba en 1s los puntajes en PISA 2015, era “medio” cuando se encontraba ente +1s y -1s y “bajo” si era menor a -1s. Coeficiente de variación era “alto” si el coeficiente del país es mayor a 20%. Coeficiente de asimetría era “positivo” cuando era mayor a +1, “neutro” si se encontraba entre +1 y -1 y “negativo” si era menor a -1.

Discusión

El presente trabajo tuvo por cometido discutir y destacar la importancia de la dispersión y la forma de la distribución del rendimiento de los estudiantes cuando se analiza el producto educativo desde las pruebas estandarizadas. Este ejercicio brinda una dimensión de análisis diferente de la calidad, entendida como eficacia o logro de resultados educativos, al poner en relieve la equidad. En este sentido, el análisis de la tendencia central brinda información valiosa, pero incompleta, de la calidad educativa de un país. Y aunque existen indicadores cuyos objetos de evaluación buscan, per sé, representar la calidad como equidad, incluso en éstos, el análisis de su dispersión permitiría comprender el logro de la equidad con mayor profundidad.

De igual manera, el documento aboga por el uso del coeficiente de variación como un estadígrafo de simple cálculo que permite valorar la dispersión de los datos contemplando el rendimiento promedio de cada país, estado o escuela. El empleo del coeficiente de variación podría servir como un indicador sobre desigualdad y equidad en educación referido al logro educativo. Especialmente relevante sería su uso, dada la práctica recurrente que existe en informes de evaluación educativa donde se busca comparar mediciones provenientes de diferentes indicadores. Debido a las características de esta medida de variabilidad, el coeficiente de variación elimina la unidad y hace posible el ejercicio de comparación de indicadores y pruebas que poseen diferentes escalas (Salkind, 2010).

En el caso específico de Latinoamérica, los análisis mostrados en el documento sugieren que no sólo los n=9 países de Latinoamérica evaluados en PISA 2015 tienen puntajes por debajo de la media de los demás, sino que es posible afirmar la existencia de desigualdad –a través de la comparación del coeficiente de variación– en los resultados educativos y, además, se observan distribuciones asimétricas negativas que sugieren la existencia de casos atípicamente bajos en los resultados. La existencia de estas asimetrías negativas parece ser característica de los países latinoamericanos, lo que provoca la necesidad de focalizar y priorizar los esfuerzos en este tipo de población. Esta distribución no parece encontrarse, de manera general, en los demás n=51 países analizados. Parte de un siguiente esfuerzo sería detectar aquellos estados, departamentos o distritos en Latinoamérica que son resilientes al contexto, para analizarlos de una manera mucho más profunda y a la luz de las características de sus contextos y de las decisiones en materia de política educativa que han realizado.

Coherente con lo anterior y hablando sobre la calidad y la desigualdad educativas, los análisis muestran lo que Latapí (1993) advertía, la importancia de que el derecho a la educación y con éste, la calidad educativa, sean revalorizados en un sentido de equidad, en el que todos los miembros del sistema educativo logren alcanzar básicos indispensables. Viendo el panorama de desigualdad de Latinoamérica, las teorías más contemporáneas de justicia social, como las compensatorias, parecerían ser uno de los posibles caminos a seguir para lograr lo que Muñoz (2009) sugería, acerca de que las escuelas podían ser capaces de brindar a los estudiantes: una posibilidad de resiliencia al contexto.

Así, nuevamente las recomendaciones que Muñoz, Ahúja, Noriega, Schurmann y Campillo advertían desde 1995 vuelven a emerger como necesarias. En este sentido, políticas evaluativas y de intervención que tengan el objeto de lograr “mejorar la calidad de los insumos escolares y de las condiciones –actualmente precarias– en que se llevan a cabo los procesos educativos, y en segundo lugar, que busquen] desarrollar experimentalmente los modelos educativos que puedan producir efectos satisfactorios en condiciones sociodemográficas precarias” lo que será especialmente importante retomar y estudiar (Muñoz et al., 1995, p. 44).

Finalmente, aunque en el presente documento no se realizó un análisis de otro tipo de indicadores como de insumos, procesos u otros productos educativos, la misma lógica de analizar la dispersión y la asimetría podría darse al focalizarse en los sectores vulnerables. Este tipo de análisis puede aludir, incluso, al uso de métodos multinivel donde la varianza de subgrupos es considerada en los análisis de los datos. Aunque al día de hoy existen investigaciones que emplean este tipo de aproximación (cfr. Gertel, Giuliodori, Herrero, Fresoli, Vera y Morra, 2006), todavía existe un largo camino para lograr su difusión.

Anexo

Cuadro 3.
Rendimiento medio, coeficiente de variación y de asimetría de los países evaluados en Matemáticas y Lectura en PISA 2015

Referencias bibliográficas

Backhoff, E. (2018). Breve caracterización del Sistema Educativo Mexicano. Revista Latinoamericana de Estudios Educativos, 48(1), 35-52.

Baes, B. (1994). El movimiento de las escuelas eficaces: implicaciones para la innovación educativa. Revista iberoamericana de educación, 249, 407-426.

Bárcena, A. (2017). CEPAL: La elevada desigualdad en América Latina constituye un obstáculo para el desarrollo sostenible. CEPAL. Recuperado de https://www.cepal.org/es/comunicados/cepal-la-elevada-desigualdad-america-latina-constituye-un-obstaculo-desarrollo

Bauselas, E. (2003). Metodología de la Investigación Educativa: Modelo CIPP. Revista complutense de evaluación. Madrid, España 14(2), pp. 361-367.

Blanco, E. (2011). Los límites de la escuela: educación, desigualdad y aprendizajes en México. México: El Colegio de México, Centro de Estudios Sociológicos. Recuperado de https://www.ses.unam.mx/curso2013/pdf/BlancoEmilio.pdf

Bracho, T. (2018). Hacia un concepto de calidad. Gaceta, 10, 23-27. México: INEE.

Brase, C.H. y Brase, C.P. (2017). Understandable statistics: concepts and methods. Estados Unidos: Cengage Learning.

Coleman, J. (1964). Equality in educational opportunity. Estados Unidos: National Center for Educational Statistics (Dhew).

De la Orden, A., Asensio, I., Carballo, R., Fernández, J., Fuentes, A., García, J. y Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativa, 3(1-2). Recuperado de: http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm

Gertel, H., Giuliodori, R., Herrero, V., Fresoli, D., Vera, M. L. y Morra, G. (2006). Análisis multinivel del rendimiento escolar al término de la educación básica en Argentina. En Anales de la Asociación Argentina de Economía Política. Recuperado de www.aaep.org.ar/espa/anales/works06/Gertel_Giuliodori_Herrero.pdf

Hanushek, E. y Wöbmann, L. (2007): Calidad de la educación y crecimiento económico. Chile: Banco Económico Mundial y Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL).

INEE. (2007). PISA 2006 en México. México: INEE.

INEE. (2008). ¿Avanza o retrocede la calidad educativa? Tendencias y perspectivas de la educación básica en México. Informe 2008. México: INEE.

Kain, J. y Singleton, J. (1996). Equality of educational opportunity revisited. New England Economic Review, (Número Especial), 87-114.

Latapí, P. (1993). Reflexiones sobre la justicia en la educación. Revista Latinoamericana de Estudios Educativos, 23(2), 9-41.

Latapí, P. (2009). Finale prestissimo. México: Fondo de Cultura Económica.

Leithwood, K., Seashore, K., Anderson, S. y Wahlstrom, K. (2006). How leadership influences student learning. Nueva York: The Wallace Foundation, University of Minnesota, University of Toronto. Recuperado de http://www.wallacefoundation.org/knowledge-center/Documents/How-Leadership-Influences-Student-Learning.pdf

López, E. (2009). Evaluación del efecto de variables críticas en el aprendizaje de los escolares. Estudios sobre educación, (16), 55-78.

Martínez Rizo, F. y Díaz, M.A. (2016). México en PISA 2015. México: INEE. Recuperado de http://www.inee.edu.mx/images/stories/2016/PISA2016/noviembre/PISA_2015-informe.pdf

Martínez, F. (2010). ¿Puede la escuela reducir las desigualdades del rendimiento? Páginas de educación, 2(1), 7-28.

Ministerio de Educación Nacional. (2016). Revisión de políticas nacionales de educación: la educación en Colombia. Colombia: OCDE, MINED.

Morán, P. (2017). La evaluación cualitativa en los procesos y prácticas del trabajo en el aula. México: IISUE, UNAM.

Muñoz, C. (2009). ¿Cómo puede la educación contribuir a la movilidad social?: resultados de cuatro décadas de investigación sobre la calidad y los efectos socioeconómicos de la educación (1968-2008). México: Universidad Iberoamericana.

Muñoz, C., Ahúja, R., Noriega, C., Schurman, P. y Campillo, M. (1995). Valoración del impacto educativo de un programa compensatorio, orientado a abatir el rezago escolar en la educación primaria. Revista Latinoamericana de Estudios Educativos, 25(4), 11-58. Recuperado de http://www.cee.edu.mx/revista/r1991_2000/r_texto/t_1995_4_02.pdf

OCDE. (2016). Estudiantes de bajo rendimiento: por qué se quedan atrás y cómo ayudarles a tener éxito. París: OCDE. Recuperado de http://www.oecd.org/pisa/keyfindings/PISA-2012-Estudiantes-de-bajo-rendimiento.pdf

OCDE. (2018a). Program for international student assessment: data. París: OCDE. Recuperado de http://www.oecd.org/pisa/data/

OCDE. (2018b). PISA 2015: results in focus. París: OCDE. Recuperado de https://www.oecd.org/pisa/pisa-2015-results-in-focus.pdf

Salkind, N. (2010). Encyclopedia of research design. Estados Unidos: Sage Publications. Recuperado de http://methods.sagepub.com/reference/encyc-of-research-design/n56.xml doi: 10.4135/9781412961288

Schmelkes, S. (2005). La desigualdad en la calidad de la educación primaria. Revista Latinoamericana de Estudios Educativos, 35(2-4), 9-33. Recuperado de http://www.redalyc.org/pdf/270/27035402.pdf

Schmelkes, S. (2018). Definiciones de calidad de la educación en el Instituto Nacional para la Evaluación de la Educación. Gaceta, 10, 18-22. México: INEE.

Stufflebeam, D.L. y Shinkifield, A.J. (1987). Evaluación sistémica. Guía teórica y práctica. Barcelona, España: Paidós.

Van der Berg, S. (s.f.). Poverty and education. París: UNESCO, International Academy of Education.

Notas

[1] Es decir que las mediciones eran “crudas” y podían no ser adecuadas (Hanushek y Kan, 1972 en Kain y Singleton, 1996).
[2] Existen algunos otros productos como la satisfacción, la movilidad social y, en el caso de la educación particular y privada, el retorno a la inversión, que no serán objeto de estudio del presente documento.


Buscar:
Ir a la Página
IR
Visor de artículos científicos generados a partir de XML-JATS4R por