La idiotez y los debates sobre las evaluaciones internacionales a gran escala en las reformas educativas nacionales^[1]

Idiocy and debates about large-scale international assessments in national education reforms

A idiotia e os debates sobre as avaliações internacionais em grande escala nas reformas educacionais nacionais

Esta obra está bajo una Licencia Creative Commons Atribución-SinDerivar 4.0 Internacional.

El uso de evaluaciones internacionales a gran escala (ILSA, por sus siglas en inglés) para medir el acceso al sistema educativo y el aprendizaje por parte de los estudiantes es un fenómeno mundial relativamente reciente (KIRSCH, LENNON, von DAVIER, GONZALEZ & YAMAMOTO, 2013; United Nations Educational, Cultural and Scientific Organization [UNESCO], 2016). Desde la evaluación piloto de doce países por parte del Instituto de la UNESCO para la Educación (IUE) en 1958, estas mediciones del aprendizaje estudiantil comparativas entre países han crecido en cantidad, del mismo modo que ha crecido el número de estudiantes incluidos, las habilidades evaluadas y los países participantes (KIRSCH et al., 2013). Con base en la intensa cobertura mediática que se da a la publicación de cada nueva serie de clasificaciones, las ILSA tienen el potencial de desempeñar un papel cada vez más decisivo en la conducción, apoyo y configuración de políticas educativas y de reformas promovidas por gobiernos de diferentes países a nivel nacional, regional y municipal (BAIRD et al., 2016; MEYER & BENAVOT, 2013).

Entre las ILSA más conocidas e influyentes se encuentran el Programa para la Evaluación Internacional de Alumnos (PISA) y la Encuesta de Escuelas Primarias del proyecto de Indicadores Mundiales de Educación (WEI-SPS) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y el Estudio Internacional de Progreso en Comprensión Lectora (PIRLS), el Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS) y el Estudio Internacional de Educación Cívica y Ciudadana (ICCS) de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA). Existen también ILSA para regiones específicas, tales como: el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), el Consorcio del África Meridional y Oriental para la Supervisión de la Calidad de la Educación (SAQMEC), el Programa de Análisis de los Sistemas Educativos de la Conferencia de Ministros de Educación de los Estados y Gobiernos de la Francofonía (PASEC), el Informe Anual del Estado de la Educación de la India (ASER) o la Prueba Diagnóstica EGRA de Lectura Inicial del Instituto RTI International para los países de bajos ingresos. Consideradas en su conjunto, estas ILSA se han realizado, en diferentes momentos, en casi todos los países del mundo[3], muchos de los cuales participan en varias evaluaciones a la vez[4] y muchos de los cuales también han ido aumentando su participación a lo largo de las dos últimas décadas.[5] [6]

Para comprender de forma más exhaustiva y comparada el aprendizaje estudiantil, las organizaciones que realizan las evaluaciones a gran escala, junto a otras organizaciones que actúan en el escenario educativo global y nacional, han empezado a trabajar en el ambicioso objetivo de desarrollar métricas globales del aprendizaje (GLM, sigla que usaremos para referirnos a ellas a lo largo del texto) relacionadas a evaluaciones existentes. Las GLM proporcionan resultados de aprendizaje estandarizados, generalmente en las áreas de alfabetización y matemáticas, que pueden servir como parámetros para que los países midan su progreso a lo largo del tiempo. Algunas de las organizaciones con participación activa en la elaboración de las GLM son: el Instituto de Estadística de la UNESCO (UIS), el consorcio SAQMEC, el IEA, la OCDE, el Banco Mundial, la CONFEMEN (Conferencia de los Ministros de Educación de los Estados y Gobiernos de la Francofonía), el Centro ASER[7] y la Alianza Mundial por la Educación (GPE).[8] La OCDE, por auspiciar el programa PISA, tal vez sea la organización más involucrada en el desarrollo de las GLM en la actualidad, ya que el programa PISA actualmente se lleva a cabo en 72 países del mundo, y también a nivel infranacional en países como Argentina, Canadá, China, la India y los Estados Unidos (OECD, n.d.).

En general, los esfuerzos existentes para desarrollar GLM han tendido a centrarse en el logro por parte de los estudiantes de ciertas metas, como la comprensión lectora en el tercer año de escolarización. Aunque las recomendaciones varían según las iniciativas y los grupos de trabajo, se están haciendo esfuerzos para fomentar la colaboración entre instituciones interesadas en el desarrollo de una lista más estandarizada de GLM (ver, entre otros, WINTHROP, ANDERSON & CRUZALEGUI, 2015). Por ejemplo, la Comisión Especial sobre Métricas del Aprendizaje (LMTF, una iniciativa conjunta del UIS y el Centro para la Educación Universal de la Brookings Institution creada expresamente para ese objetivo) viene recomendando la medición del aprendizaje estudiantil en torno de siete dimensiones que van desde materias escolares al uso (como educación matemática, ciencias y tecnología) a participación cívica y bienestar general (como arte y cultura, bienestar social y emocional o bienestar físico).

El uso de las GLM — definidas como medidas para el “acceso más aprendizaje” (LMTF, 2013, p. 10, énfasis en el original; véase también PERLMAN ROBINSON, 2011) — representa un alejamiento estratégico del foco tradicional de las organizaciones nacionales e internacionales en documentar las matrículas escolares. Este cambio de foco se cimentó a partir de la aprobación por parte de las Naciones Unidas del Marco para la Educación 2030, en mayo de 2015, y de los Objetivos de Desarrollo Sostenible, en septiembre del mismo año. Entre esos objetivos se incluía garantizar una educación de calidad, es decir, velar por una enseñanza primaria y secundaria “que ha de ser gratuita, equitativa y de calidad y producir resultados escolares pertinentes y eficaces” (UN, 2016).

Mientras que la necesidad del acceso universal a la educación es consensual, la forma en que el aprendizaje debe medirse y la necesidad de establecer métricas globales del aprendizaje son objeto de calurosos debates.[9] Es común que los debates sobre las ILSA, se conviertan en discusiones acaloradas, que provocan reacciones viscerales fuertes, que disminuyen las chances de poder escuchar análisis cuidadosos, examinar las evidencias existentes y de considerar las perspectivas contrastantes. Nuestro punto de partida es que no deberíamos sorprendernos por la polarización de tales debates ya que políticos, investigadores, docentes, administradores, estudiantes y sus familias suelen tener opiniones y perspectivas muy firmes sobre las escuelas, lo que debe arreglarse y cuál debería ser la "solución".

Uno de los argumentos más comunes en esos debates suele formularse como "Eres un idiota; todos están de acuerdo con mi idea" que es complementado con un comentario desdeñoso, “su idea carece de evidencia, e incluso si tiene alguna, no es tan fuerte como la mía ". De hecho, parece que cuando se discute sobre cuestiones educativas, la tendencia a ser idiota es bastante común, y en muchos casos orgullosamente idiotas. Por "idiota", no nos estamos refiriendo al uso común de alguien que no es muy inteligente, sino en el significado original de la palabra en griego antiguo, como Walter C. Parker (2005) explica:

[...] la idiotez comparte con la palabra idiosincrasia y la raíz “idio”, que significa privado, separado, egocéntrico, egoísta. "Idiota" era en el contexto griego, un término de reproche. Cuando el comportamiento de una persona se volvía "Idiota", preocupado miopemente por sus beneficios privados y sin tener en cuenta los bienes en común, entonces se creía que la persona era como un barco sin timón, sin consecuencias salvo por el peligro que representaba para otros. Este significado de idiotez logra su fuerza cuando se contrasta con politës (ciudadano) o público. Aquí tenemos una poderosa oposición: el individuo privado versus el ciudadano público (p. 344).

A pesar de la intensidad y del carácter frecuentemente polémico de los debates sobre el propósito de las ILSA[10] y el desarrollo de las GLM, existe poca investigación que examine hasta qué punto los ministros de educación, los legisladores y otros actores sociales y políticos en contextos nacionales le dan valor a este tipo de mediciones del rendimiento estudiantil. Tampoco existe una literatura afianzada que analice hasta qué punto, o cómo, estos agentes educativos incorporan las evaluaciones a gran escala o las métricas globales a su trabajo a nivel nacional.[11]

Para ofrecer respuesta a estas cuestiones, hemos llevado a cabo una revisión de literatura sobre la investigación y las políticas relacionadas con las evaluaciones a gran escala y las métricas globales del aprendizaje y hemos realizado dos encuestas con involucrados y/o interesados en ese ámbito para entender cómo estas evaluaciones y métricas están influyendo en las políticas de educación primaria y secundaria a nivel nacional. Más específicamente, pretendemos entender:

(1) ¿Hasta qué punto las ILSA/GLM han influido en las políticas nacionales de educación primaria y secundaria?

(2) ¿Qué cambios en políticas nacionales de educación primaria y secundaria se han producido en países donde hay indicios de la influencia de las ILSA/GLM?

Nuestro objetivo en última instancia es ofrecer a la comunidad internacional una mejor comprensión de la forma en que (si de hecho lo hacen) las ILSA/GLM influyen en el trabajo de los agentes educativos a nivel nacional (considerando, por ejemplo, el “schock PISA” y fenómenos similares). Nuestra investigación también pretende servir como base para futuros estudios sobre los efectos de las ILSA/GLM sobre la toma de decisiones y las reformas en educación a nivel nacional e infranacional.

Como descrito anteriormente, llevamos a cabo una revisión de literatura sobre ILSA/GLM y realizamos dos encuestas sobre la percepción de las mismas por parte de expertos en política educativa y otros investigadores, legisladores, representantes de sindicatos y educadores. En las próximas secciones se detalla nuestro abordaje metodológico para recolectar y analizar esas fuentes de datos.

La atención mediática que las ILSA vienen recibiendo, particularmente tras el lanzamiento de los informes PISA y los rankings internacionales (BAIRD et al., 2016; CARVALHO, COSTA & GONÇALVES, 2017; FERRER, 2017; HOPFENBECK & GÖRGEN, 2017; MEYER & BENAVOT, 2013) indica que la participación en las ILSA está teniendo un impacto considerable en los discursos sobre educación y políticas a nivel mundial (BREAKSPEAR, 2012; HOPFENBECK et al., 2017). Nuestra revisión de literatura sugiere, no obstante, que no es fácil identificar vínculos causales directos entre la participación en las ILSA y reformas educativas, una vez que algunos gobiernos parecen haber implementado cambios en sus políticas a consecuencia de los resultados de esas evaluaciones mientras que otros parecen haber usado esos resultados para justificar y/o acelerar reformas educativas ya en marcha. En cualquier caso, las ILSA están siendo efectivamente usadas para legitimar esas diversas agendas de reformas en las políticas educativas. Además, el arreciado esfuerzo de los gobiernos por subir en los rankings ha contribuido a que los países emulen políticas entre ellos y a una convergencia generalizada entre las mismas (BAIRD et al., 2011; BREAKSPEAR, 2014; LAWN & GREK, 2012; MOWAT, 2017; VERGER, 2014). Ha habido también una cantidad creciente de estudios sobre la participación y resultados en las ILSA en revistas académicas (DOMINGUEZ, VIEIRA & VIDAL, 2012; LENKEIT, CHAN, HOPFENBECK & BAIRD, 2015), lo que ha contribuido a una percepción más amplia de que la participación en esas evaluaciones ha tenido un impacto significativo en las políticas educativas a nivel mundial. En este sentido, los gobiernos de los países participantes están blandiendo las ILSA (y, por extensión, las GLM) como herramientas de legitimación para promover o justificar la creación, mantenimiento o transformación de políticas educativas y esfuerzos de reforma (ver también ADDEY, SELLAR, STEINER-KHAMSI, LINGARD & VERGER, 2017). [13]

Uno de los principales desafíos a la hora de determinar hasta qué punto hay pruebas concluyentes de la relación entre la participación en las ILSA y el rumbo de las reformas educativas nacionales es que en países con resultados semejantes en las evaluaciones las respuestas gubernamentales a las políticas de reforma educativa han sido diferentes (MARTENS & NIEMANN, 2013). Dos ejemplos llamativos se dieron a partir de la divulgación de los resultados del informe PISA en 2001 y 2004, momentos en los que un grupo de países sufrieron lo que se ha denominado el “shock PISA” (OECD, 2014; WALDOW, 2009; YOUNG, 2015). Los legisladores de Alemania, Japón y Dinamarca vieron cómo otros países alrededor del mundo les superaban considerable y sorprendentemente y, bajo un escrutinio público y mediático intenso, reaccionaron rápidamente y empezaron a desarrollar e implementar reformas educativas a gran escala (BREAKSPEAR, 2012, 2014; BULLE, 2011; TASAKI, 2017). El gobierno alemán creó una nueva serie de estándares nacionales acordes con el informe PISA que le permitió monitorizar la trayectoria del rendimiento de los estudiantes a lo largo del tiempo y desarrolló nuevos sistemas de apoyo a estudiantes desfavorecidos e inmigrantes, cuyos resultados fueron particularmente bajos (BREAKSPEAR, 2014; ERTLE, 2006). Así también hizo el gobierno danés. El vigoroso debate público y político que se siguió a la caída de Japón en el ranking de las evaluaciones del programa PISA entre 2000 y 2003, sin embargo, llevó a sus legisladores a invertir en evaluaciones nacionales y elevar los niveles asociados a las mismas (BREAKSPEAR, 2014; TAKAYAMA, 2008; TASAKI, 2017).

Este problema también ha sido bien descrito por Baird et al. (2016) en su estudio sobre las reacciones políticas y mediáticas entre los resultados de 2009 y 2012 en Canadá, China (Shanghái), Inglaterra, Francia, Noruega y Suiza. Los autores observaron que los gobiernos hacen uso de sus resultados en el informe PISA como un “hechizo” o “varita mágica” para justificar cualquier reforma en sus políticas, independientemente de los resultados obtenidos (véase también FERRER, 2017; HOPFENBECK & GÖRGEN, 2017). Dentro de un abordaje diferente y más positivo, el análisis de Lockheed y Wagemaker (2013) de la utilidad de las ILSA como herramientas políticas las describe como “termómetros” para medir progresos y a la vez como “látigos” que instigan a la acción política. Otros estudiosos las entienden como herramientas de “regulación del conocimiento” (CARVALHO, COSTA & AFONSO, 2009) en los espacios de decisión política, legitimación de discursos y construcción de capacidad práctica que han de servir como agentes de transformación y no apenas como parámetros de acceso o progreso (ver CARVALHO, 2012; CARVALHO & COSTA, 2015; LASCOUMES & LE GALES, 2007). Al margen de cómo la literatura ha descrito el posicionamiento en las ILSA, resulta evidente que las autoridades educativas y políticas y los grupos políticos de interés de cada país están haciendo uso de las ILSA para legitimar políticas educativas de formas que reflejan el contexto político en que se encuentran.

A través de la literatura revisada, encontramos indicios de que la participación nacional en las ILSA y los resultados que de ella desprenden se han utilizado para legitimar y acelerar el emprendimiento de reformas ya existentes o ya planificadas. Por ejemplo, según Baird et al. (2011), el gobierno francés exageró el desempeño relativamente insuficiente en las evaluaciones TIMSS, PIRLS y PISA para justificar reformas gubernamentales sistémicas que ya estaban en marcha. Estas reformas incluyeron volver a centrarse en habilidades básicas a través de la revisión curricular de la educación primaria con un foco especial en la alfabetización y las ciencias y descentralizar la financiación para que las escuelas tengan control sobre sus presupuestos. Según Dobbins y Martens (2012), los resultados de Francia en el PISA, que fueron precedidos por un mal desempeño en la Encuesta Internacional sobre Alfabetización de Adultos (IALS) de la OCDE en 1997, resultó en un descontento público que le dio a los dirigentes gubernamentales la oportunidad de avanzar rápidamente en las reformas estructurales pretendidas dirigidas a mejorar el desempeño de los estudiantes, la rendición de cuentas y la autonomía tanto de las escuelas como de los profesores (ver también Pons, 2016). Esta última medida (darle más autonomía financiera a escuelas y profesores) refleja la forma en la que el gobierno francés buscó emular las que entendieron como principales causas del “milagro” finlandés en el ranking PISA (DOBBINS & MARTENS, 2012; ver también MICHEL, 2017).

De la misma forma, la participación de Suiza en el PISA 2000 y en los programas PIRLS y TIMSS de la IEA contribuyó a que el gobierno acelerara medidas preexistentes para unificar en mayor medida los planes de estudio y estándares en todo el país, así como para desarrollar sistemas más eficientes para controlar el progreso educativo entre regiones y dentro de cada una de ellas (BAIRD et al., 2011; BIEBER & MARTENS, 2011). El nuevo gobierno laborista del Reino Unido también ha hecho uso de los resultados del informe PISA en el país para promover una narrativa sobre un declive en los estándares educativos que sirvió para justificar reformas en los objetivos del Certificado General de la Educación Secundaria (GCSE) (SELLAR & LINGARD, 2013). En Japón y Portugal, los legisladores han hecho uso del informe PISA como un aliado retórico más sutil para re-contextualizar y orientar las reformas gubernamentales propuestas. Los mismos han reinterpretado el éxito finlandés para justificar reformas curriculares y la implementación de evaluaciones estandarizadas (TAKAYAMA, 2008, 2010). Mientras que en Portugal es más difícil aislar la influencia del informe PISA en reformas educativas de otros factores (como la agenda educativa de la Unión Europea), las preocupaciones de los legisladores portugueses en relación a los resultados del informe PISA han coincidido con la implementación de evaluaciones nacionales en lengua portuguesa y matemáticas y con la reconsideración de los currículos en términos de competencias (TEODORO & ESTRELA, 2010; ver también CARVALHO et al., 2017).

Muchas de las reformas implementadas por los gobiernos se han centrado en desarrollar o fortalecer sus programas y marcos de evaluación nacional como resultado de su participación en el PISA. Engel (2015), por ejemplo, señala que el gobierno español ha venido usando progresivamente el informe PISA como “una referencia para identificar las áreas prioritarias de la política educativa española” (p. 110; ver también FERRER, 2017). Los responsables de las políticas educativas finlandesas, habiendo sufrido también el “shock PISA”, implementaron un sistema nacional de valoración de la calidad y evaluación de las escuelas, así como proyectos sobre currículo nacional y evaluación (BAIRD et al., 2011). Mientras que hay otros gobiernos nacionales que han implementado nuevos sistemas de exámenes y evaluación durante este periodo de tiempo, como Rumanía, Suecia, Macedonia, Malasia, Noruega e Israel (BAIRD et al., 2011; CHOI & JERRIM, 2016; ELLEY, 2002; ENGEL, 2015; FEINGER et al., 2012; FORESTIER & CROSSLEY, 2014), el informe PISA no puede ser señalado como la única causa determinante para tal ya que la tendencia educativa mundial ha sido la de aumentar la cuantificación y la evaluación y monitorización del desempeño estudiantil.

Asimismo, algunos gobiernos nacionales han introducido nuevos estándares y/o modificado su currículo nacional. El gobierno de Shanghái, por ejemplo, ha hecho cambios significativos en el currículo, tales como el paso de pedagogías con foco en la “transmisión de contenido” a pedagogías con foco en problemas “de la vida real” (SELLAR & LINGARD, 2013). Los responsables de las políticas educativas de Macedonia, Malasia, Portugal, Rumanía, España y Suiza también desarrollaron estándares y/o currículos nacionales nuevos (BAIRD et al., 2011; CARVALHO et al., 2017; CHOI & JERRIM, 2016; ELLEY, 2002; ENGEL, 2015; TEODORO & ESTRELA, 2010). Los legisladores españoles, por ejemplo, usaron los informes PISA, PIRLS y TIMSS para justificar la simplificación del currículo nacional centrándolo en competencias, lenguas extranjeras y tecnologías de la información y la comunicación (CHOI & JERRIM, 2016; ver también GIL, BELTRÁN & REDONDO, 2016). Los legisladores macedonios, tras la primera participación del país en el TIMSS-R en 1999 (su primera participación en una evaluación internacional) empezaron a trabajar en un mejor alineamiento del currículo de matemáticas y ciencias con las evaluaciones internacionales, revisaron sus evaluaciones nacionales y pusieron en marcha un programa de formación continua de profesores (ELLEY, 2002).

Otra reacción común a las ILSA/GLM ha sido proponer la modificación de las políticas de calidad docente, particularmente en las áreas de formación de profesores, evaluación, desarrollo docente y requisitos docentes. Se ha visto que este ha sido el caso en España, Estonia, Polonia, Brasil, Colombia, Japón, Portugal e Israel (AFONSO & COSTA, 2009; BIAŁECKI, JAKUBOWSKI & WIŚNIEWSKI, 2017; CHOI & JERRIM, 2016; ENGEL, 2015). Paine, Bloemeke y Aydarova (2016) defienden que los cambios en políticas en el ámbito docente son habituales porque se trata de un área en la que los legisladores pueden influir con facilidad. Postulan que la forma más eficaz de influir en los resultados del desempeño de los alumnos en las ILSA es centrarse en cómo se contribuye a ellos. Mientras factores complejos como clase social son los que tal vez mejor ayuden a prever los logros de los estudiantes, Paine y sus colegas defienden que centrarse en la “calidad docente” está “al alcance” de los legisladores, lo que resulta en medidas para rendición de cuentas que han hecho que el control de los profesores y de los programas de formación de profesores se haya tornado más estricto. Cabe señalar que es difícil, si no imposible, atribuir exclusiva y explícitamente tales cambios en las políticas educativas a la participación en las ILSA. Como defienden Afonso y Costa (2009), “el programa PISA se adapta a los contextos, los gobiernos se lo apropian y se re-politiza según una agenda preexistente” (p. 61).

Algunos estudiosos señalan el discurso creado por la cobertura mediática de los resultados de las ILSA como la justificación que los gobiernos usan para el emprendimiento de reformas educativas (BAROUTSIS & LINGARD, 2016; BIAŁECKI, JAKUBOWSKI & WIŚNIEWSKI, 2017; HOPFENBECK & GÖRGEN, 2017; SELLAR & LINGARD, 2013; TAKAYAMA, 2008). Se podría decir, tal como se señaló anteriormente, que las ILSA han tenido un mayor efecto retórico que directamente político (BAIRD et al., 2011; PAINE et al., 2016; TAKAYAMA, 2010; TEODORO & ESTRELA, 2010). En este sentido, las ILSA han llegado a servir como una lógica política que contribuye a legitimar reformas. Berényi & Neumann (2009) dieron parte de cómo, durante la elección húngara de 2002, el partido liberal hizo cada vez más referencia a los resultados del informe PISA como una razón para fundamentar su agenda educativa (véase también BAJOMI, BERÉNYI, NEUMANN & VIDA, 2009). El éxito de Hong Kong en el informe PISA ha llamado la atención de las autoridades británicas, que también se han fijado en las mejores prácticas de Singapur, Suecia y Finlandia (FORESTIER & CROSSLEY, 2014). El entonces secretario de Estado de Educación, Michael Gove, frecuentemente se refirió al informe PISA y a los países con los mejores resultados para justificar sus medidas en educación (BITTLINGMAYER, BOUTIUC, HEINEMANN & KOTTHOFF, 2016; FORESTIER & CROSSLEY, 2014; ver también BAIRD et al., 2011). El uso de comparaciones y rankings cuasi-educativos no ha sido excepcional entre los países, ya que muchos han atestiguado un giro discursivo a partir de que los medios de comunicación hayan empezado a informar sobre los resultados del informe PISA. Algunos países con sistemas educativos tan diferentes como Argentina, Australia, Francia, Alemania, Japón, Portugal, España, Turquía y Estados Unidos han atestiguado efectos retóricos semejantes (AFONSO & COSTA, 2009; BAROUTSIS & LINGARD, 2016; CARVALHO, COSTA & GONÇALVES, 2017; FROESE-GERMAIN, 2010; GORUR, 2011; NIEMANN, MARTENS & TELTEMANN, 2017; RAUTALIN & ALASUUTARI, 2008; TAKAYAMA, 2008; GIL et al., 2016). Estos países también han implementado varias políticas educativas que se han asociado a la conectividad y competitividad crecientes (posibilitadas por la participación en las ILSA), tales como la introducción en Australia de estándares de enseñanza nacionales (BREAKSPEAR, 2014; FIGAZZOLO, 2009; GORUR, 2011; SELLARS & LINGARD, 2013), el uso por parte de los Estados Unidos de los resultados del desempeño de los alumnos para medir la calidad docente (BIEBER & MARTENS, 2011; ENGEL & FRIZZELL, 2015; FIGAZZOLO, 2009; MARTENS & NEIMANN, 2013; PLISKO, 2013; SELLAR & LINGARD, 2013) y la reducción por parte de España de su currículo para centrarlo en materias evaluadas (CHOI & JERRIM, 2016) y en competencias (GIL et al., 2016).

Nuestra revisión ha encontrado indicios de que las ILSA también se han usado como herramientas de legitimación a nivel infranacional o local. Morgan (2015) identificó una rápida adopción infranacional alrededor de las reformas en Canadá acordes con el programa PISA. De la misma forma, Engel y Frizzell (2015) documentan la forma en que las provincias canadienses han hecho uso de los resultados del informe PISA para otorgar validez a la forma en que las políticas existentes han contribuido al buen desempeño de sus alumnos (como, por ejemplo, en Alberta) o a las reformas para combatir el mal desempeño de los mismos (como en Saskatchewan). Según Breakspear (2014), seis países de la OCDE han empezado a fijar nuevos objetivos para los rankings internacionales y a emular prácticas y políticas provenientes de otros lugares (prestando especial atención a las “mejores prácticas” de los países con mejores clasificaciones), lo que ha tenido en sí muy poco impacto práctico real.

Tabla 1
Objetivos educativos basados en el PISA

Breakspear, 2014

Son pocos los indicios documentados de la influencia de las ILSA en las reformas educativas en los Estados Unidos, en parte posiblemente por la compleja relación de este país con esas evaluaciones. Aunque los responsables por las políticas educativas estadounidenses presionaron a la OCDE para que desarrollara comparaciones entre el desempeño escolar de los países a principios de los noventa (LINGARD & LEWIS, 2016), el país siempre ha mostrado un desinterés histórico en involucrarse en las ILSA a nivel nacional (BIEBER & MARTENS, 2011).[14] Hay algunos indicios de que legisladores de los estados han empezado a hacer uso de los resultados en el informe PISA como prueba de la eficacia de sus sistemas educativos (ENGEL & FRIZZELL, 2015; LINGARD & LEWIS, 2016). En Massachusetts, por ejemplo, recientemente se citaron los resultados del informe PISA de 2012 como prueba de la competitividad nacional e internacional de ese estado, y en Florida se incorporaron los resultados del informe PISA a la propuesta de becas del programa Race to the Top (literalmente “correr/carrera hasta la cima”) (ENGEL & FRIZZELL, 2015). Resulta interesante que, aunque casi no se han observado conexiones entre las ILSA y los esfuerzos de reforma educativa estadounidenses, Martens & Niemann (2013) documentan el paralelismo entre los objetivos establecidos por el programa PISA y los objetivos del programa Race to the Top conforme establecidos en la ley estadounidense de recuperación y reinversión American Recovery and Reinvestment Act, de 2009, y la ley de educación A Blueprint for Reforms (“un proyecto de reformas”) re-aprobada en 2010. Según Froese-Germain (2010), el informe PISA se está usando en los Estados Unidos como un sutil aliado para justificar reformas educativas dirigidas a aumentar el rendimiento y la competitividad (y posiblemente en otros países también).

Un resultado de la creciente influencia de las ILSA en los debates sobre reforma educativa es su contribución a la creación de agencias nacionales de evaluación de la educación y el desarrollo paralelo de la capacidad técnica de aplicar, monitorizar e interpretar resultados (ADDEY ET AL., 2017; GOVE & CVELICH, 2011; GREGER, 2012; LEWIS & LINGARD, 2015; STRIETHOLT & SCHERER, 2017). Gove y Cvelich (2011) dan parte de las consecuencias del EGRA en varios países participantes señalando los esfuerzos para mejorar la posición en el ranking por parte de países de bajos ingresos que han tenido históricamente una capacidad de evaluación limitada. De forma semejante, antes del informe PISA, Alemania y la República Checa no implementaban evaluaciones nacionales y el “shock” resultante dio lugar a que los gobiernos de ambos países desarrollasen métodos más formales para evaluar el progreso de sus estudiantes (GREGER, 2012; NIEMANN, MARTENS & TELTEMANN, 2017). Pons (2017) le atribuye al informe PISA particularmente la creación del área de política educativa global y la consecuente necesidad de nuevos marcos teóricos y herramientas metodológicas para entender, medir e interpretar los resultados de las ILSA.

Más allá de fijar objetivos en relación a los resultados y rankings del informe PISA, y a pesar de las obvias diferencias entre los diversos contextos, las ILSA ofrecen información sobre las competencias de los estudiantes de los países y, en última instancia, ofrecen indicios sobre lo que se puede considerar estándares nacionales de calidad de los sistemas educativos. Además, el examen de Carvalho y Costa (2015) de la recepción política del informe PISA en seis países europeos sugiere que ese informe en particular “invita al optimismo sobre la posibilidad de reformas y crea confianza en los agentes de la política nacional” y legitima “problemas y soluciones en las políticas con la aprobación de un conocimiento supuestamente universal, independiente y especializado” (p. 644). Esta alteración de condiciones de posibilidad ha influido de diversas formas en todo el mundo, lo que ha conllevado la generación de un robusto mercado educativo para las ILSA, el desarrollo de sectores enteros dedicados a su implementación y procesamiento (como, por ejemplo, en la IEA, la OCDE, Pearson, la UNESCO, etc.), el desarrollo de la capacidad de evaluación a través de unidades de evaluación y sistemas de recolección de dados nacionales y la emergencia de un nuevo sector profesional de asesoría sobre las ILSA.

Un total de 90 profesionales respondieron a las encuestas, entre los cuales se incluyen 24 expertos que trabajan directamente con ILSA/GLM, 40 investigadores y legisladores y 13 estudiantes de posgrado que desarrollan investigación sobre el tema, así como otros profesionales involucrados en este ámbito (profesores, gestores universitarios y personal de fundaciones y organizaciones contribuyentes). La encuesta A se dirigió específicamente a expertos con experiencia directa trabajando en las ILSA/GLM dentro y fuera de sus países. La mayoría de los encuestados con intereses en las ILSA/GLM (72%) (como educadores y legisladores) afirmaron tener también experiencia en el trabajo con esas evaluaciones junto a otros profesionales con intereses en ese ámbito (como políticos, otros legisladores, sindicatos, profesores, medios de comunicación, etc.) en diferentes países. El 23% (n= 15) de ellos afirma trabajar frecuentemente con esos grupos de profesionales, el 49% (n= 32) ocasionalmente y el 28% (n= 18) nunca. La experiencia de los participantes de ambas encuestas con las ILSA/GLM abarca una gran variedad de regiones, que van desde África a América Latina, Asia, Europa Occidental y del Este, Oriente Medio, América del Norte y Australia.

Al ser interrogados sobre su experiencia en el trabajo con ILSA/GLM, de los 90 encuestados, 58% (n=52) respondieron que los grupos con intereses en el ámbito educativo están preocupados en primer lugar con los estudios internacionales sobre rendimiento estudiantil como PISA (40%), TIMSS (24%), PIRLS (12%) y PIAAC (9%). Los encuestados también mencionaron otros instrumentos de evaluación que pueden desempeñar un papel importante en contextos de políticas educativas nacionales, como el EGRA de la USAID, la Evaluación del Aprendizaje para el Desarrollo Internacional (IDELA) de Save the Children, el Tercer Estudio Regional Comparativo y Explicativo (TERCE) de la UNESCO o evaluaciones estudiantiles nacionales, regionales y municipales (como las brasileñas SAEB y ENEM). Las próximas secciones dan parte detallado de las perspectivas de los encuestados sobre el uso e impacto de las ILSA/GLM en contextos de políticas nacionales y sobre si las ILSA/GLM facilitan o dificultan el emprendimiento de reformas educativas.

Las ILSA/GLM en contextos de política nacional

Aunque la literatura existente tal vez no sea fructífera en lo que se refiere a la relación causal entre los resultados de las ILSA/GLM y su uso en los contextos de política de educación nacional, tanto las encuestas a expertos como a los otros profesionales con intereses en las ILSA resultan significativas en relación a las perspectivas sobre este asunto. De hecho, la inmensa mayoría de los encuestados (96%) están de acuerdo en que se hace uso de las ILSA/GLM en los contextos educativos nacionales (Tabla 1). Sin embargo, las opiniones de los encuestados se dividen en lo que respecta a cómo se hace uso de estos instrumentos en los diferentes contextos de formulación de políticas. En particular, el 58% de todos los encuestados esbozan diferentes formas en que las ILSA/GLM se usan instrumentalmente en los contextos educativos nacionales, mientras que el 38% de los mismos muestran críticas en relación al uso inadecuado de las ILSA/GLM. Sólo el 4% de todos los encuestados afirma que los instrumentos no se usan en absoluto en los procesos nacionales de elaboración de políticas educativas. Al focalizar el uso instrumental de las ILSA/GLM en diferentes contextos nacionales, los encuestados explican que los instrumentos se usan generalmente para establecer objetivos, metas y parámetros para las reformas educativas nacionales, especialmente en términos de equidad educacional y agenda sobre calidad, así como para supervisar la implementación de esas reformas. Tal como afirmó un investigador, por ejemplo: “No se puede hablar sobre mejoras en la educación si no hay parámetros”. Tres encuestados señalaron que las ILSA/GLM también se usan para alinear la evaluación de los currículos y los instrumentos de evaluación estudiantil a estándares internacionales. Además, los encuestados afirmaron que las ILSA/GLM se usan más comúnmente como “desencadenantes/niveladores de políticas” para justificar reformas existentes, para otorgar validez y legitimidad a los cambios en ciertas políticas o para demostrar la necesidad de financiación, especialmente en contextos de desarrollo internacional, lo cual es coherente con lo señalado en nuestra revisión de literatura. El porcentaje de encuestados que discutieron las ILSA/GLM en términos de su valor instrumental fue más alto entre los profesionales con intereses en el ámbito de las ILSA que entre los expertos (63% y 52%, respectivamente).[15] En otras palabras, una mayoría más significativa de encuestados con intereses en las ILSA/GLM, pero, quizás, con menos experiencia con estos instrumentos respondieron favorablemente en relación al uso instrumental de las ILSA/GLM.

Más de un tercio (38%) del total de encuestados opinaron que las ILSA/GLM se usan generalmente de forma inadecuada en contextos de política nacional. Entre los que confirman ese uso inadecuado, el mayor porcentaje corresponde a los expertos y el menor a los otros encuestados con intereses en el ámbito de las ILSA (43% y 33%, respectivamente). A pesar de reconocer la circulación de estos instrumentos a nivel local y mundial, según los dos grupos de encuestados, los legisladores conocen las ILSA/GLM, pero no las usan adecuadamente por varios motivos. Según los encuestados, algunos legisladores muestran reservas de peso en relación al uso de las ILSA/GLM porque creen que tales instrumentos son, tal como lo describe uno de los expertos encuestados, “instantáneas imperfectas que con más frecuencia distorsionan que dilucidan”. En segundo lugar, las ILSA/GLM son demasiado amplias y abstractas para un uso provechoso. En tercer lugar, los encuestados señalaron que los legisladores tal vez sencillamente carezcan de las habilidades necesarias para analizar e interpretar los datos de las ILSA/GLM para tornarlos útiles en sus contextos nacionales.

Aunque puede que los legisladores consulten los datos comparativos generados por las ILSA/GLM, las respuestas a las encuestas indican que, en general, los mismos no usan esos datos de forma significativa. Más que a orientar reformas, un encuestado indicó que las ILSA/GLM llevan a la construcción de narrativas de “crisis” y “necesidad”, tal como fue ampliamente documentado en nuestra revisión de literatura. Estas narrativas conducen las reformas educativas nacionales en direcciones específicas, con frecuencia aumentando la rendición de cuentas de profesores y estudiantes y el foco en competencias de aprendizaje. De forma coherente también con nuestra revisión de literatura, cuatro de los expertos encuestados observaron que es más probable que los legisladores en algunos países hagan referencias políticas o simbólicas a las ILSA/GLM como estrategia (para hacer referencia a nombres o culpables) o para comparar la posición de sus países en los rankings mundiales, como se refleja en este comentario de uno de los encuestados: “los legisladores no usan las evaluaciones, sino que simplemente están preocupados con los rankings.” De la misma forma que la literatura sobre las ILSA/GLM indica que estas evaluaciones y medidas se están usando como herramientas para la legitimación de políticas (ver también ADDEY et al., 2017), la mayoría de los expertos encuestados y los otros encuestados con intereses en las ILSA atestiguan esta realidad a nivel nacional.

Tabla 2
El uso de las ILSA/GLM en los contextos de las políticas nacionales de educación

Percepción del impacto de las ILSA/GLM en la formulación de políticas nacionales

Aunque la gran mayoría del total de encuestados (96%) señalan que las ILSA/GLM se están utilizando en los contextos de elaboración de políticas nacionales, sus opiniones se dividen en relación a si las ILSA/GLM facilitan o dificultan los procesos de reforma educativa (figura 1). En particular, el 30% del total de encuestados cree que las ILSA/GLM contribuyen para las reformas nacionales, mientras que el 28% opina que las dificultan (n=54). Aproximadamente un cuarto (24%) del total de encuestados opinó que las ILSA/GLM tanto pueden facilitar como dificultar los procesos de reformas educativas a nivel nacional, dependiendo de las circunstancias particulares y de las formas en que son utilizadas. Finalmente, el 11% de los encuestados opinó que las ILSA/GLM ni facilitan ni dificultan los procesos de reforma educativa a nivel nacional y el 7% afirmó que no hay indicios o información suficiente para determinar el efecto que las ILSA/GLM tienen en los procesos de elaboración de políticas nacionales.

Figura 1
La percepción de los encuestados sobre la contribución y/o dificultades de las ILSA/GLM para los esfuerzos de reforma de la educación nacional
Nota: Incluye respuestas de encuestas tanto con los expertos cuanto con los no expertos

Una vez más, la visión de los expertos encuestados y de los otros encuestados con intereses en el ámbito de las ILSA/GLM es divergente en lo que se refiere a si las ILSA/GLM constituyen una ayuda o un obstáculo para las medidas nacionales de reforma educativa (figura 2). Los expertos se mostraron más críticos hacia las ILSA/GLM. El 43% de los mismos respondieron que las ILSA/GLM obstaculizan los procesos de reforma, frente a tan solo el 18% de los otros encuestados con intereses en las ILSA/GLM. Es posible que su inmersión en la literatura teórica y de investigación que conduce las ILSA/GLM en diversos contextos nacionales fundamente las opiniones de los expertos en lo que respecta a las controvertidas formas en que las evaluaciones internacionales tienen efectos sobre las políticas nacionales.

Figura 2
La percepción de los encuestados sobre el impacto de las ILSA/GLM en las políticas de educación nacional y global

Observamos un cambio en la percepción de los encuestados a respecto de si las ILSA/GLM facilitan o dificultan los procesos globales de reforma educativa en comparación con sus respuestas en relación a los procesos nacionales (figura 3). En el ámbito de las reformas globales, más de un tercio (37%) del total de encuestados opinaron que las ILSA/GLM dificultan la elaboración de políticas educativas (n=52). Tan solo el 15% del total de encuestados creen que las ILSA/GLM contribuyen a las reformas globales (n=52). Comparando las respuestas de las dos encuestas, el 33% (n=33) de los encuestados del grupo con intereses en las ILSA opinó que las ILSA/GLM ayudan en las reformas a nivel nacional, pero tan solo el 13% (n=32) siente que estén contribuyendo a reformas educativas globales. De forma similar, solo según el 18% (n=33) de ellos las ILSA/GLM obstaculizan los esfuerzos de reforma a escala global. Esa visión es coherente con la de los expertos encuestados. Por ejemplo, el 24% (n=21) de los expertos respondió que las ILSA/GLM facilitan las medidas para reformas nacionales y el 20% (n=20) respondió que las ILSA/GLM facilitan las reformas globales. De forma semejante, también hubo un pequeño cambio en relación a la percepción de los expertos sobre si las ILSA/GLM dificultan los esfuerzos de reforma nacionales y globales. Según el 43% (n=21) de los expertos encuestados, las ILSA/GLM obstaculizan las reformas nacionales mientras que el 40% (n=20) respondió que las ILSA/GLM dificultan los esfuerzos de reformas globales.

Figura 3
Las percepciones de los encuestados sobre la contribución y/o dificultades de las ILSA/GLM para los esfuerzos de reforma global
Nota: Incluye respuestas de encuestas tanto de los expertos cuanto de los no expertos

La participación en las ILSA/GLM ha generado la percepción de que esas evaluaciones tienen un impacto profundo en las políticas educativas, pero es difícil establecer esa relación causal directa (PAINE et al., 2016). Nuestra investigación confirma que algunos países tienen los mismos resultados en las ILSA, pero implementan políticas diferentes, y viceversa. No obstante, no se pueda afirmar definitivamente que estas convergencias y reacciones políticas estén explícitamente vinculadas a la participación y desempeño en las ILSA/GLM. Nuestra investigación ha pretendido documentar hasta qué punto el uso de las ILSA/GLM ha influido en las políticas para la educación primaria/secundaria y, hemos verificado que la forma en que la comunidad educativa piensa sobre el uso de estas evaluaciones difiere significativamente en función de los diversos contextos.

Todos los países participantes tienen una larga historia de reformas en política educativa que se extiende más allá de su participación en las ILSA/GLM. En los Estados Unidos, por ejemplo, el cambio del gobierno hacia políticas que enfatizan la rendición de cuentas de profesores, escuelas y Estado basada en el rendimiento de los estudiantes en exámenes estandarizados semejantes a las ILSA se ha atribuido históricamente a la publicación del informe A Nation at risk (“Una nación en riesgo”) en 1983. Sin embargo, la evaluación nacional bianual del progreso educativo (NAEP) del Ministerio de Educación estadounidense antecedió a tal informe en 20 años. Con la importancia adquirida por las ILSA a lo largo de las últimas dos décadas (por el informe PISA principalmente), el desempeño nacional en estas evaluaciones se ha convertido en el nuevo indicador para justificar reformas como la de las políticas No Child Left Behind y Race to the Top. Cuando se observa la política educativa nacional históricamente, se convierte en un desafío determinar qué reformas o políticas se pueden atribuir a qué acontecimientos. Cada país participante en las ILSA tiene una historia compleja, y la participación en las ILSA/GLM se convierte en un hilo más en la intrincada red de movimientos políticos preexistentes y emergentes. En suma, a pesar de la firme retórica sobre influencia, todas estas políticas son contingentes contextualmente y tal vez sean mejor estudiadas a través de estudios de caso detallados por país.

Dicho esto, nuestra revisión de literatura y los resultados de nuestras encuestas indican que las ILSA/GLM han hecho posible que los gobiernos conciban nuevos modelos de política educacional y los legitimen (BREAKSPEAR, 2014; LAWN & GREK, 2012; VERGER, 2014). Según Baird et al. (2011), las ILSA/GLM han contribuido menos a diferenciar políticas distintas que a fomentar la convergencia política. El uso extendido de rankings y comparaciones internacionales, aparejado a la cobertura mediática de los informes sobre los resultados de las ILSA/GLM, constituye una dinámica clave en los debates nacionales sobre sistema educativo (HAAS & FISCHMAN, 2010). Nuestra revisión identifica una tendencia clara según la cual las autoridades educativas a nivel nacional se ven presionadas a mostrar mejoras en los resultados de las ILSA y en los rankings de las GLM y los gobiernos han empezado a buscar estrategias para subir hasta posiciones más altas (BIEBER & MARTENS, 2011; ENGEL, 2015; MEYER & BENAVOT, 2013). A pesar de los factores contextuales que afectan inexorablemente cómo los estudiantes se desempeñan en las diversas ILSAs, la competición internacional ha incentivado un sentido de mentalidad descontextualizada de “lo que funciona” (LEWIS, 2016) con la que los gobiernos intentan emular políticas y prácticas de los países con los mejores resultados (ENGEL, 2015; LINGARD, RAWOLLE & TAYLOR, 2005; PHILLIPS & OCHS, 2003). Sin embargo, como defienden Lewis and Lingard (2015), estas “evaluaciones del informe PISA ‘supuestamente’ objetivas y descontextualizadas se interpretan de formas que reflejan los contextos políticos y culturales locales en los cuales se reciben esos datos, lo que subraya la forma contingente en la que se entiende el conocimiento producido por el informe PISA dentro de los sistemas educativos nacionales, a pesar de su circulación global” (p. 627).

Nuestra investigación presenta evidencias robustas sobre las grandes limitaciones de los análisis y perspectivas que establecen un vínculo directo entre los resultados de las ILSA (o los rankings de las GLM) y los cambios en las políticas educativas. Pero lo que podemos reconocer es que las ILSA/GLM posibilitan un campo de comparación pretendidamente objetivo que puede, como de hecho lo hace, transformar radicalmente las condiciones y contextos globales que afectan a las políticas educativas. Como resultado de ello, los gobiernos enfrentan nuevas presiones para conseguir mejores clasificaciones y, consecuentemente, para garantizar que sus políticas se adapten a ese objetivo. Pese a quien pese, cada vez es más evidente que las ILSA/GLM tienen una profunda influencia en la forma como los involucrados en la educación en todo el mundo están tomando decisiones sobre políticas educativas y agenda de reformas, sirviendo para identificar los resultados que se encajan en narrativas previamente establecidas sobre reformas educativas adecuadas.

Quizás el hallazgo más significativo asociado con el uso de ILSAs en la literatura que revisamos es la forma en que las nuevas condiciones para la comparación educativa han sido posibles a nivel nacional, regional y global. Por un lado, las ILSAs tienen el potencial de proporcionar a los gobiernos y diferentes actores educativos información comparable que supuestamente permiten la evaluación de los logros educativos tanto dentro de las ciudades, estados y regiones, como entre países. Por otro lado, analizar los resultados de ILSAs desde perspectivas “idiotas”, sin considerar la fuerte influencia de las desigualdades en las oportunidades educativas o reconocer agendas políticas o económicas más amplias que impulsan la producción y el uso de ILSA en educación- es bastante peligroso.

Cuando los gobiernos y/o diferentes actores educativos se esfuerzan más en generar narraciones simplistas para legitimizar políticas usando ILSAs, ignorando las diferencias contextos escolares y los múltiples obstáculos asociados a esos contextos, mostrando una falta de preocupación por las desigualdades en oportunidades educativas y los derechos de millones de estudiantes de familias pobres, y enfocando todas las energías en justificar sus propias opiniones, mientras descartan rápidamente cualquier evidencia contraria para legitimar intereses y beneficios, es una forma genuina de idiotez educativa.

¿La mejor defensa contra la idiotez educativa? No existe un antídoto que funcione perfectamente, pero proponemos que para reducir la idiotez educativa precisamos de dos estrategias complementarias y un principio fundamental. La primera estrategia, consiste en discutir, experimentar, evaluar y considerar las múltiples evidencias existentes y generar otras formas de evidencias que reconozcan la heterogeneidad de los contextos educativos. Segundo, el sector educativo tiene que evitar la dependencia exclusiva de medidas cuantitativas simplistas para determinar los resultados educativos, desviar la atención de las estrategias a corto plazo diseñadas para escalar rápidamente las clasificaciones de ILSA, implementar estrategias comprobadas para reducir las desigualdades en las oportunidades de mejorar los resultados a largo plazo.

En cuanto al principio, debemos evitar que las reformas educativas sean justificadas y legitimadas en una sola medida de la supuesta calidad educativa. Debemos considerar múltiples tipos y fuentes de datos, necesitamos explorar formas más significativas de informar datos comparativos, debemos reconocer la importancia de los propósitos cívicos y públicos de la educación, y debemos involucrar a nuestras diversas comunidades – las familias, docentes, sindicatos de educación, administradores, líderes comunitarios y estudiantes - en un diálogo público sobre qué es y qué debe ser la educación. La superación de la idiotez de la educación implicaría, por lo tanto, examinar las diferentes realidades educativas, atendiendo la diversidad de las poblaciones y sobre todo con una mirada que tome en cuenta las desigualdades, así como las múltiples relaciones entre los sistemas educativos, factores ambientales, económicos, sociales y culturales, que, por supuesto no deberían ignorar los resultados de las evaluaciones internacionales a gran escala, pero evitando la idiotez en sus usos.