Administración y Gestión

La evaluación desde las pruebas estandarizadas en la educación en Latinoamérica

Geydi Dahiana Demarchi Sánchez
Universitaria Minuto de Dios - UNIMINUTO, Colombia

La evaluación desde las pruebas estandarizadas en la educación en Latinoamérica

En-Contexto Revista de Investigación en Administración, Contabilidad, Economía y Sociedad, vol. 8, núm. 13, pp. 107-133, 2020

Institución Universitaria Tecnológico de Antioquia

Recepción: 08 Abril 2020

Aprobación: 18 Agosto 2020

Resumen: este artículo de revisión es un insumo para conocer aspectos relacionados con las pruebas estandarizadas que se aplican de manera internacional en los países latinoamericanos, al igual que reflexiona sobre las pruebas estandarizadas aplicadas en Colombia. El enfoque metodológico aplicado en este artículo fue cualitativo, con énfasis en la estrategia documental. Se concluye que las pruebas estandarizadas son una forma de hacerle seguimiento a la educación que están recibiendo los estudiantes en los estamentos educativos; además, evalúan la capacidad que tienen para responder a situaciones propias del contexto, teniendo en cuenta los conocimientos adquiridos. A su vez, las pruebas estandarizadas se consideran un insumo útil para que las instituciones educativas mejoren su calidad.

Palabras clave: educación, competencias.

Abstract: This review article is an input to learn about aspects related to the standardized tests that are applied internationally in Latin American countries, as well as reflects on the standardized tests applied in Colombia. The methodological approach applied in this article was qualitative, with emphasis on the documentary strategy. It is concluded that standardized tests are a way of monitoring the education that students are receiving in educational establishments; in addition, they evaluate their ability to respond to situations specific to the context, taking into account the knowledge acquired. In turn, standardized tests are considered a useful input for educational institutions to improve their quality.

Keywords: Education, skills, standardized tests, academic qualification.

Resumo: este artigo de revisão é um entrada para saber os aspectos relacionados com testes padronizados que são aplicar internacionalmente nos países Latino-americanos, como ele reflete em testes padronizados aplicados em Colômbia. A abordagem metodológica aplicada neste artigo foi qualitativo, com ênfase na estratégia documental. Conclui-se que testes padronizados são uma maneira de acompanhar a educação que eles estão recebendo alunos nas propriedades educacional; além disso, eles avaliam a capacidade tem que responder às situações do contexto, levando em consideração o conhecimento adquirido. Por sua vez, testes padronizados são considerados uma entrada útil para o as instituições educacionais melhoram sua qualidade.

Palavras-chave: ducação, habilidades, testes padronizados, qualificação acadêmica.

Introducción

La educación es un derecho que tenemos todos los sujetos y se convierte en un camino o mecanismo para salir de la pobreza; así lo define la Declaración Universal de los Derechos Humanos desde la Resolución 217ª (1948); para su cumplimiento cada Estado o país la adopta como parte de sus políticas e incentiva a sus habitantes a hacer parte de ella. Sin embargo, la tarea no se basa solo en cumplirlo, ya que se debe responder a las exigencias de cada contexto de la sociedad y a criterios que definan la calidad de la educación impartida; y, a su vez, las competencias y habilidades adquiridas por los estudiantes en el sistema educativo; estos mecanismos son las pruebas estandarizadas, las cuales hacen parte de los mecanismos para evaluar la calidad de la educación, entendidas como “[…] exámenes aplicados a gran escala que cumplen con las cualidades psicométricas básicas y las características técnicas que permitan la aplicación a muestras numerosas en forma casi simultánea” (Padilla, 2009, p.44).

Este artículo tiene como finalidad conocer las diferentes pruebas estandarizadas aplicadas en Latinoamérica como insumo para evidenciar las competencias y habilidades adquiridas por los estudiantes en la educación. Este tema ha sido de interés para varios autores: Ferrer y Arregui (2003), De la Orden (2009), Jurado (2010), Mullis et al. (2012), Isáziga et al. (2014), Bahamon y Reyes (2014), Tiramonti (2014) y Guzmán et al. (2012). Estos escritores abordaron temas como la evaluación y la calidad, las pruebas internacionales y nacionales, así como su impacto en la educación para la intervención de la academia para una formación de calidad.

Este artículo se desarrolló bajo el tipo de investigación cualitativa, puesto que permite reflexionar e interpretar las realidades sociales a partir de la experiencia y vivencia de los sujetos. Según Salgado (2007), este tipo de investigación es “flexible y abierta, y el curso de las acciones se rige por el campo, los participantes y la evolución de los acontecimientos, de este modo, el diseño se va ajustando a las condiciones del escenario o ambiente” (p.72). Además, es una forma de comprender la realidad de la educación a partir de los textos escritos sobre las pruebas estandarizadas en Colombia y en otros países.

Para el desarrollo del artículo, se realizó una revisión de numerosos textos científicos y académicos de diferentes países, que abordan la temática de la educación y las pruebas estandarizadas. Por el mismo desarrollo del texto, se optó por la estrategia documental, interpretada por Galeano (2004) como una revisión, recolección y validación de información “[…] la cual cuenta con particularidades propias en el diseño de proyectos, la obtención de la información, el análisis y la interpretación" (p. 114).

Como técnica de organización de información se implementó la matriz de revisión documental, como una herramienta de sistematización de los datos hallados. Según Valencia (s.f.),

[l]a revisión documental permite identificar las investigaciones elaboradas con anterioridad, las autorías y sus discusiones; delinear el objeto de estudio; construir premisas de partida; consolidar autores para elaborar una base teórica; hacer relaciones entre trabajos; rastrear preguntas y objetivos de investigación; observar las estéticas de los procedimientos (metodologías de abordaje); establecer semejanzas y diferencias entre los trabajos y las ideas del investigador; categorizar experiencias; distinguir los elementos más abordados con sus esquemas observacionales; y precisar ámbitos no explorados (p.4).

Es importante este tipo de estudio, porque revisa y analiza la situación de la educación en Latinoamérica, resaltando y haciendo una sistematización de los estudios que abordan la temática, para hallar posibles mecanismos que permitan valorar y conocer las estrategias implementadas en otros países con relación a la educación.

El artículo está estructurado de la siguiente manera: primero, se hace un contexto de las pruebas estandarizadas aplicadas en Latinoamérica desde su origen; segundo, se hace una revisión de las diferentes pruebas internacionales estandarizadas de los países latinoamericanos; tercero, se revisa el caso de las pruebas estandarizadas en Colombia; por último, se presentan las conclusiones del proceso de revisión.

Desarrollo

Contexto

En la década de los 90, Latinoamérica pasa por cambios económicos y sociales de corte neoliberal que tenían como propósito cambiar el modelo de gestión pública por otro que se adaptara a las exigencias sociales, dejando a un lado las administraciones de corte burocráticas. De este proceso, también hizo parte el ámbito educativo, el cual sufrió reformas promovidas principalmente por organismos internacionales y adoptados en cada país de Latinoamérica (Orozco, 2010).

Es importante tener en cuenta que después de la etapa de la industrialización y la llegada de la sociedad del conocimiento en Latinoamérica, se hizo necesario reconocer las capacidades que tenían las personas para ejercer profesionalmente un cargo o el desarrollo de una tarea. De esta forma, comienza a crearse el modelo de educación por competencias y, con ello, surgen las distintas entidades evaluadoras que reflexionan sobre las competencias adquiridas por los estudiantes durante el proceso de formación

Figura 1.
Figura 1.

Línea de tiempo primeras entidades evaluadoras en Latinoamérica

Elaboración propia, con base en Martínez, 2009; Backhoff y Contreras, 2014; y Jiménez, 2016.

La Figura 1 muestra cómo se implementaron paulatinamente los sistemas de evaluación en varios países de Latinoamérica. México creó el Instituto Nacional para la Evaluación Educativa (INEE); Chile dio vida al Sistema Nacional de Evaluación de Resultados de Aprendizaje (SIMCE); Argentina fundó el Sistema Nacional de Evaluación de la Calidad (SINEC); Brasil estableció el Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES); y Colombia formó el Sistema de Evaluación de la Calidad de la Educación Primaria y Secundaria.

Este recuento permite hacerles un seguimiento a los procesos educativos realizados por los estudiantes en diferentes niveles de formación en los países mencionados. De acuerdo con ello, se comienza a realizar evaluaciones a gran escala, con el propósito de informar a la sociedad y a las instituciones educativas sobre el estado de la educación del país, así como brindar información a docentes y personal educativo que les permita mejorar los procesos de enseñanza de sus estudiantes (Martínez, 2009;Backhoff y Contreras, 2014; Jiménez, 2016).

Cada país ha adoptado las pruebas estandarizadas de acuerdo con sus intereses. Tal es el caso de los países de Norteamérica y Latinoamérica, quienes usan los resultados de las pruebas como un indicador para hacer ranking, señalando las instituciones educativas con mayores o peores posiciones; mientras que, en países como Holanda y Dinamarca, estas pruebas han permitido reflexionar sobre la educación impartida por los docentes y buscar posibilidades desde la pedagogía que permita el desarrollo de habilidades y capacidades de los estudiantes (Díaz y Osuna, 2016).

Pruebas estandarizadas internacionales

Las pruebas estandarizadas internacionales son evaluaciones comparativas que realizan las agencias y organizaciones internacionales; usadas como instrumentos estandarizados de medición, aplicadas en varios países de manera conjunta, seleccionando grupos o grados de estudiantes similares. Estas pruebas recolectan información sobre los aprendizajes conceptuales y procedimentales de distintas áreas; además, de indagar por los diferentes factores del contexto que influyen en el aprendizaje de los estudiantes (Ferrer y Arregui, 2003; Olmeda, 2016).

En el año 1950, apareció la agencia de evaluación como una necesidad de psicólogos, sociólogos y demás profesionales sociales de la UNESCO, para posibilitar la discusión de las dificultades en la evaluación escolar y estudiantil. Por ello, se creó la Asociación Internacional para la Evaluación del Logro Educativo (IEA), encargado de realizar estudios comparativos internacionales sobre los rendimientos educativos y comprender la eficiencia y efectos de las políticas relacionadas con el sistema educativo (Schulz et al., 2010a).

A continuación, se ilustran las diferentes pruebas internacionales y la identificación de los países que han sido participantes.

Tabla 1
Tabla 1

tado de pruebas internacionales latinoamericanas

Elaboración propia, con base en Ferrer y Arregui, 2003.

Prueba TIMS

Fue aplicada por primera vez en 1995 y se caracteriza por ser una de las primeras empleadas en el contexto trasnacional; es conocida como Third Internacional Mathematics and Science Study, realizada a través de la Association for the Evaluation of Educational a Archievement (IEA) (Beaton et al., 1996).

Tiene una periodicidad de cuatro años y su nombre cambia a medida de cada aplicación; tal es el caso de la segunda vez que se realizó, en 1999, donde se nombró TIMSS Repeat; en el 2003 se llamó Trends International Mathematics and Science Study, más conocida como TIMSS Trends. De esta manera, la prueba ha cambiado algunos asuntos de su denominación, relacionados con las competencias a desarrollar (Mullis et al., 2012).

La prueba evalúa las competencias adquiridas por los estudiantes en Matemáticas y Ciencias,2 tiene como objetivo “[…] encontrar factores directamente relacionados con el aprendizaje de los estudiantes en ambas materias que puedan modificarse por la política educativa, tales como el currículo, la asignación de recursos o las prácticas de enseñanza” (Acevedo, 2005; Informe Nacional, 2017). Las pruebas TIMS evalúa asuntos relacionados con el currículo, es por ello que los teóricos que diseñan la prueba han creado tres niveles del currículo desde esta perspectiva, se define:

Figura 2
Figura 2

Niveles del currículo en la prueba TIMSS

Tomado de Acevedo, 2005.

Estos niveles fueron implementados desde la prueba TIMSS para conocer el impacto del currículo en el aprendizaje de los estudiantes. Por un lado, se tiene en cuenta el currículo pretendido, entendido como la planificación educativa de las instituciones, teniendo en cuenta la sociedad; por ello, representa el ideal de lo que debería aprender el estudiante. El currículo aplicado denota la enseñanza real que tuvo la persona en el aula de clase, alude al contacto entre docentes y estudiantes; en este ítem se tiene en cuenta las cargas emocionales, experienciales que tiene el educador, pues su actuación y comportamiento dependen de su formación, experiencia, origen y cultura. Finalmente, el currículo logrado hace referencia a lo que el estudiante logró aprender sobre cada una de las asignaturas impartidas. De esta manera, el rendimiento académico de una persona depende de factores relacionados con su medio social, sus expectativas, sus intereses, motivación y esfuerzo (Acevedo, 2005).

De acuerdo con los niveles del currículo definido por la prueba TIMSS es interesante conocer la relación existente entre el aprendizaje del estudiante y los resultados. Por consiguiente, para el diseño de esta prueba se toma como herramienta principal las estructuras curriculares de la educación secundaria de los países participantes en la prueba.3 Siguiendo con la revisión de las pruebas internacionales.

Proyecto LLECE

Para este caso la UNESCO-OREAL funda el Laboratorio para la Evaluación de la Calidad de la Educación en Latinoamérica y El Caribe LLECE, entre los años 1994 y 1997, en Santiago de Chile. Lo primero que realiza es una serie de estudios para conocer la realidad de la educación en los países del Caribe y Latinoamérica, constituyéndose en un “[…] recurso técnico a disposición de los países latinoamericanos y también un ámbito de discusión técnico, político para la problemática del aprendizaje y sus variables relacionadas” (Casassus et al., 1996, p. 231).

LLECE al ser un laboratorio que integra los sistemas de evaluación de la calidad de la educación en Latinoamérica, es directamente coordinado por la Oficina Regional de Educación de la UNESCO para América Latina y el Caribe (OREAL/UNESCO) y tiene como objetivo:

[p]roducir información sobre logros de aprendizaje y evaluación de sistemas educativos y sus componentes, analizando los factores asociados a dichos avances. Constituirse y validarse en tanto foro de reflexión, debate e intercambio de nuevos enfoques y aproximaciones en evaluación de la calidad educativa. Contribuir a fortalecer las capacidades locales de las unidades de evaluación (Evaluaciones Internacionales LLECE-ERCE, 2019).

El primer estudio del laboratorio LLECE se realiza entre los años 1996 y 1997, con la participación de 13 países, entre ellos: Argentina, Bolivia, Brasil, Colombia, Cuba, Costa Rica, Chile, Honduras, México, Perú, Paraguay, Venezuela y República Dominicana. Las áreas evaluadas fueron Lectura, Matemáticas y Escritura. A partir de los resultados, el laboratorio emitió un informe a los países asociados a ellos, para la mejora continua del sistema de educación.

El Segundo estudio del laboratorio se llamó SERCE (Estudio Regional Comparativo y Explicativo de 3º y 6º nivel de la competencia de Lenguaje y Matemáticas) y el tercer estudio fue TERCE (Estudio Regional Comparativo de 3º y 6º grado en competencias de Lenguaje, Matemáticas y Ciencias).

El laboratorio LLECE más que emitir resultados, aporta propuestas para proponer

[…] un sistema educativo que pretenda anticiparse a las demandas futuras […], además, desarrollar una política que fomente las innovaciones. Consecuentemente, los Ministerios deben incentivar, conducir, evaluar, sistematizar y divulgar las innovaciones educativas. Para esto último, el laboratorio surge como un elemento útil y propicio (Jurado, 2010, p.10).

En Latinoamérica, se han aplicado otro tipo las pruebas internacionales, una de ellas se describirá a continuación.

Estudio Internacional de Educación Cívica y Ciudadanía (ICCS)

Dirigido por la Asociación Internacional para la Evaluación del Rendimiento Académico (IEA). Esta prueba a diferencia de todas las que se han abordado se interesa por conocer las competencias, conocimientos y habilidades que tienen los estudiantes frente a los temas relacionados con el civismo. Según Schulz et al. (2010b), la prueba tiene como intención:

[i] nvestigar, en una serie de países, en qué medida los jóvenes están preparados, y por tanto dispuestos, a asumir su papel como ciudadanos. Para lograr este objetivo, el estudio evalúa el rendimiento de los alumnos mediante una prueba de comprensión de conceptos y de competencia en lo que respecta al civismo y ciudadanía. Por otro lado, también recoge y analiza, como variables adicionales de salida, datos sobre las actividades de los alumnos, su disposición y su actitud ante la educación cívica y ciudadana (p.7).

Antes de la implementación de esta prueba, la IEA había realizado varios estudios relacionados con esta temática. La primera fue aplicada en 1971 y tuvo como nombre Six Subject Study; mientras que la segunda prueba fue aplicada en 1999 con el nombre de Estudio sobre Educación Cívica (CIVED), esta prueba hacía reflexiones sobre dos aspectos; por un lado, el conocimiento que adquirían los estudiantes en las instituciones educativas y el aprendizaje que tenían por fuera de ella, es decir, en sus contextos cotidianos (Thompson y Vignon, 2016).

A partir del éxito de la prueba CIVED y la participación de varios países europeos y latinoamericanos, se continúa aplicando en los centros educativos. Los resultados han sido usados por los gobiernos para conocer el acercamiento e interés que tienen las personas frente a los temas relacionados con el deber como ciudadanos. Debido a estos resultados se ha reflexionado sobre el significado de ciudadanía. Algunos países han detectado algunos aspectos a mejorar en sus políticas educativas y su práctica, entre ellas:

[l]a disparidad entre el currículo propuesto y su puesta en práctica. La conceptualización de la ciudadanía en los centros educativos con respecto al currículo, la cultura del centro y la comunidad general. Los enfoques de la educación cívica y ciudadana, haciendo hincapié en la enseñanza y el aprendizaje activo y experimental (Schulz et al., 2010a).

Lo anterior indica una evaluación que tiene en cuenta conocimientos estructurales relacionados con el currículo y otros que son adquiridos por los estudiantes desde la cotidianidad y el civismo “así como sus actitudes, percepciones y actividades cívicas y ciudadanas” (Schulz et al., 2009, p.13).

La evaluación consta de dos partes: por un lado, se encuentra el marco cívico y ciudadano y, por el otro, el marco contextual. Con relación al primer marco, se sitúa al estudiante commo un sujeto influenciado por agentes de socialización, que no implican únicamente aprendizajes escolares, sino que también se encuentra inmerso en contacto con la comunidad informal y formal, como grupos juveniles, líderes políticos, familia, grupos de amigos, dentro y fuera del aula que implican que el estudiante sea un sujeto activo en un mundo cívico y reciba influencia de cada uno de los entornos, tanto formales como informales (Torney et al., 2001). El marco contextual de la prueba relaciona diferentes factores que hacen parte de la adquisición de conocimientos del estudiante en el tema del civismo; de esta manera, define los siguientes niveles o contextos:

[c]ontexto de la comunidad general, comprende un [...] amplio contexto dentro del cual funciona el entorno de los centros educativos y de las familias. Contexto de centros educativos y aulas, este nivel comprende factores relacionados con la educación que reciben los alumnos, con la cultura del centro y con el entorno escolar en general. Contexto de entorno familiar, comprende factores relacionados con el contexto familiar del alumno y con su entorno social fuera del centro (por ejemplo, actividades con su grupo de amigos). Contexto del individuo, se incluyen las características de cada alumno en particular (Schulz et al., 2010b).

De acuerdo con lo anterior, los estudiantes construyen una idea del papel que cumplen como ciudadanos dentro de la sociedad, partiendo de las diferentes experiencias y vivencias de su entorno, así como del aprendizaje formal desde las escuelas.

Programa Internacional para Evaluación de Estudiantes (PISA)

Promovido por la OCDE. La prueba se crea en 1997 y se aplica por primera vez en el año 2000, a una población de más o menos diecisiete millones de jóvenes de 15 años que se encontraban culminando la educación media de los 32 países participantes, entre ellos: Perú, Brasil, Chile, Argentina, México, Luxemburgo, Israel, Rusia, Portugal, Grecia, Alemania, España, USA, Japón, Francia, Suecia, Corea, Reino Unido, Hong Kong, Irlanda, Canadá, Finlandia, entre otros (Martínez, 2006; Padilla, 2009).

Según esta prueba, los estudiantes a los 15 años de edad están próximos a finalizar su periodo de escolarización y, por ende, es pertinente conocer los conocimientos y destrezas que los adolescentes adquirieron en su formación educativa, para desenvolverse de manera útil en la sociedad; a su vez, la prueba permite conocer sus propias habilidades y competencias, para acceder a estudios posteriores (Organización para la Cooperación y el Desarrollo Económico (OCDE), 2004).

Esta prueba tiene la intención de

c]onocer el grado de preparación de los estudiantes para la vida adulta en cuanto al manejo de ciertos conocimientos básicos, los procesos y principios que se necesitan para la comprensión de los conceptos implicados en éstos y la capacidad de los alumnos para responder a situaciones diferentes en contextos que demandan la aplicación de conocimientos y destrezas desarrolladas hasta el momento (OCDE, 2000).

Las competencias evaluadas son Matemáticas, Lectura y Ciencias; la prueba es aplicada cada tres años y han sido más de ochenta países que han participado, entre ellos: Canadá, China, Estonia, Polonia, Hong Kong, Irlanda, Taiwán, Singapur y Japón; para el caso de Latinoamérica los países participantes han sido Argentina, Brasil, Colombia, Chile, Costa Rica, Panamá, Perú, República Dominicana, Uruguay, México, entre otros (Pruebas PISA: que países tienen la mejor educación del mundo y qué lugar ocupa América Latina en la clasificación, 2019).

La prueba se enfoca en la capacidad que tiene el estudiante en aplicar los contenidos curriculares vistos durante su formación académica en situaciones que son propias a su cotidianidad; se basa en un modelo dinámico de aprendizaje, que implica un proceso de enseñanza a lo largo de toda su vida para acomodarse a las situaciones o circunstancias de cada momento.

Si bien la adquisición de conocimientos específicos es importante en el aprendizaje escolar, la aplicación de esos conocimientos en la vida adulta depende rigurosamente de la adquisición de conceptos y habilidades más amplios. En ciencia, tener conocimientos específicos, como los nombres de las plantas y los animales, tiene menor valor que comprender temas más amplios, como el consumo de energía, la biodiversidad y la salud humana, cuando se trata de pensar en los grandes problemas en debate dentro de la comunidad adulta (OCDE, s.f., p.5).

Los resultados de las pruebas se publican con el fin de comparar el funcionamiento de los diferentes sistemas educativos con el propósito de que los entes encargados tomen acciones de mejora para adecuar sus currículos a las exigencias del medio y a las condiciones cambiantes de la economía y la sociedad. Se convierte en una posibilidad de realizar reformas educativas principalmente en los países que tienen puntajes bajos.

Un ejemplo claro de esto ha sido México, quien ha empleado los resultados de las pruebas PISA para cuestionar, reflexionar y analizar el sistema educativo nacional. A pesar de que han tenido resultados poco favorables en las competencias de lectura, ciencias y matemáticas, han concebido los resultados “[…] como un indicador del capital intelectual que tiene un país, de manera que la responsabilidad de obtener mejores o peores calificaciones no recae exclusivamente en el sistema educativo, sino que corresponde a la sociedad en su conjunto” (Como se citó en Márquez, 2017, p.13). Pues, se considera que múltiples factores, como la familia y el contexto social, inciden en el desempeño de los estudiantes.

México ha sido uno de los pocos países de Latinoamérica que se ha propuesto mejorar las habilidades y competencias de los estudiantes y, por ende, aumentar el rendimiento de los educandos en la prueba. Este país ha venido haciendo ejercicios con pruebas a gran escala y ha creado la Evaluación Nacional de Logros Académicos en Centros Escolares (ENLACE) que se aplica a estudiantes de educación primaria y secundaria (Márquez, 2017).

Por su parte, en Chile han indagado sobre la diferencia significativa entre el desempeño de los estudiantes del área rural frente a aquellos del área urbana. Expresa una abismal diferencia en el desempeño de los educandos en las pruebas PISA. Este escenario ha implicado diferentes análisis y se ha llegado a la conclusión de que, a pesar de ser un país que se caracteriza por tener unas tasas altas de cobertura en educación primaria y secundaria en Latinoamérica, los estudiantes de las zonas rurales no cuentan con todas las herramientas necesarias para el desarrollo de sus competencias académicas (Donoso et al., 2013), afectado su desempeño en la prueba.

A continuación, se explican algunas pruebas de Estudio Internacional.

Progreso en Comprensión Lectora, conocida como PIRLS

Direccionada desde el Centro de Estudios Internacionales (ISC) y por la Asociación Internacional para la Evaluación del Rendimiento Académico Educativo (IEA); se crea con el fin de conocer las destrezas relacionadas con la comprensión lectora que adquieren los estudiantes en los primeros años escolares, pues se afirma que esta es la base para la interpretación de todas las asignaturas que se cursan en el proceso educativo (Mullis et al., 2006; Carabaña, 2015). También tiene como eje fundamental reconocer las prácticas y experiencias familiares relacionadas con la lectura que motivan al estudiante a obtener más habilidades y capacidades en esta competencia.

La prueba es aplicada cada cinco años. El primer ciclo de la prueba PIRLS fue en 2001, segundo del 2006 y la siguiente fue programada para el 2011. Por lo general los países que han participado de esta prueba hacen parte de Europa, Asia y algunos territorios africanos y del continente americano como Canadá y Estados Unidos; para el caso de Latinoamérica, los países que han participado han sido Honduras y Colombia (Gómez, 2008; ICFES, 2011; López et al., 2012).

Como tal, en la prueba se aplican cuestionarios de lectura, con preguntas dirigidas a detectar los conocimientos adquiridos por el estudiante en el ámbito escolar, y el cuestionario en contexto que realiza a preguntas a los docentes, padres de familia y directivos. Las preguntas están dirigidas a conocer las

[c]aracterísticas básicas del hogar, así como acerca de actividades relacionadas con la lectura que ocurren en el hogar. Este cuestionario, que a pesar de algunos pronósticos sería muy difícil de implementar, ha tenido un gran éxito no igualable hasta el momento por ningún otro estudio, pues ha proporcionado una cantidad de información muy valiosa para entender e interpretar los resultados del rendimiento y comprensión lectora de los alumnos (González, 2012, p.34).

De esta manera, se obtienen resultados cercanos a la realidad del estudiante, pues se analizan las condiciones que hacen parte de la cotidianidad de los estudiantes desde el discurso de docentes y padres de familia (Mullis et al., 2011; Foy, 2018; García et al., 2019).

Según el Informe Español (2007), la lectura de los resultados permite conocer al estudiante dentro y fuera del colegio, a partir de “[…] la localización y obtención de información explícita, extracción de conclusiones directas, la interpretación e integración de las ideas, la información, el análisis y evaluación del contenido de los elementos contextuales” (p.19).

De esta manera, esta prueba da respuesta a los vacíos conceptuales que se tienen en la escuela y en las familias y aporta diferentes estrategias para que los países, de acuerdo con sus resultados, definan políticas que mejoren la competencia de comprensión lectora en los estudiantes.

Esta competencia ha inquietado a diferentes organismos de evaluación de cada uno de los países y ha comenzado a aplicarse como una estrategia de revisión y seguimiento de lo aprendido en los entornos escolares; tal es el caso de Colombia, que a través del ICFES ha implementado el desarrollo de diferentes pruebas en distintos niveles de formación integradas por aquellas competencias básicas que son evaluadas en pruebas internacionales; entre ellas, matemáticas, lectura crítica, competencias ciudadanas, comunicación escrita y se agrega una prueba de dominio y compresión de una segunda lengua, inglés.

Miranda y Schleicher (2009) afirman que los resultados de las pruebas a gran escala o estandarizadas se encuentran asociadas a factores económicos, familiares y contextuales, lo que implica que la responsabilidad del proceso de formación del estudiante no solo recae en el estamento educativo, sino que también hace parte de un proceso de construcción en conjunto.

Pruebas estandarizadas nacionales-Colombia

El Examen Saber Pro (antes llamado ECAES) es quizá la expresión más palpable frente al tema de la evaluación, puesto que, rescata la concepción de la educación como un proceso que no incluye de manera exclusiva la adquisición de conocimientos y se concentra en la evaluación de las competencias del futuro profesional y la evaluación de la calidad de las instituciones de educación superior (Bahamon y Reyes, 2014, p.461).

En Colombia, el sistema de evaluación apareció en 1968, como una manera de verificar en los estamentos educativos cómo se desarrollaban los currículos. A partir de la ley 1324 del 2009, esta evaluación se convirtió en un examen obligatorio para todos los niveles de formación académica desde la primaria hasta los niveles universitarios (De la Orden, 2009).

Figura 3.
Figura 3.

Pruebas estandarizadas de la educación en Colombia desde la educación básica hasta la educación superior.

Elaboración propia a partir de Saldarriaga y López (2015).

El Sistema Nacional de Evaluación Estandarizada, se encuentra conformado por cuatro pruebas Saber: la primera es para los grados 3º, 5º y 9º, aplicadas en la educación básica; la segunda es la prueba Saber 11, realizada a los estudiantes de último grado de la educación media; la tercera es Saber TyT dirigida a personas que se gradúan de niveles técnicos y tecnológicos; y por último, la prueba Saber Pro la presentan estudiantes de los últimos semestres académicos de la Educación Superior (Ministerio de Educación Nacional, 2016; ICFES, 2018a; 2018b; 2018c).

Como se puede evidenciar, se aplica por lo menos una prueba estandarizada en cada nivel de formación, lo que implica un proceso de análisis de las competencias y habilidades que el estudiante va adquiriendo durante su proceso formativo. En relación con lo anterior:

[s]e asume que la evaluación […] es un proceso que debe motivar hacia la reflexión de su quehacer y no simplemente calificar y jerarquizar de acuerdo con estándares de productividad. En este sentido, Gabriel Misas dice lo siguiente: La educación […] debe autoevaluarse y coevaluarse para examinar hasta qué punto está cumpliendo sus tareas con la máxima calidad posible (Guzmán et al., 2012, p.6).

Teniendo en cuenta lo anterior, las evaluaciones de educación básica, secundaria y superior deben motivar a la reflexión de su quehacer en la gestión educativa y curricular y no simplemente debe quedarse en el marco de la definición de ranking y jerarquizaciones de los estamentos educativos.

Desde esta postura el Ministerio de Educación Nacional en cabeza del ICFES, se interesa por la evaluación de cada una de las competencias, básicas para el desarrollo académico de los estudiantes y el desarrollo de competencias profesionales o específicas. Las competencias básicas que evalúa el ICFES son: Lenguaje o Lectura Crítica, Matemáticas, Competencias Ciudadanas e inglés (Salas, 2005; Passos y Alvarado, 2013). Estas competencias son evaluadas en todas las pruebas estandarizadas de Colombia, en algunos casos se cambia la denominación de la competencia, pero su enfoque epistemológico y conceptual es igual.

Por un lado, la prueba de Lectura Crítica “evalúa las capacidades de entender, interpretar y evaluar textos que pueden encontrarse tanto en la vida cotidiana, como en ámbitos académicos no especializados” (ICFES, 2018a, p.14), desde esta competencia se busca que el estudiante comprenda los textos escritos y de acuerdo con ello puedo tomar posturas críticas frente al mensaje del texto.

Con relación a la prueba de Matemática, se entiende como la capacidad de entender y analizar los datos cuantitativos en forma de gráficas, tablas, diagramas y esquemas; implica extraer en el texto “información local, por ejemplo, la lectura del valor asociado a determinado elemento en una tabla o la identificación de un punto en el gráfico de una función o global” (ICFES, 2017, p.29), como la identificación de un promedio, media o tendencia.

Para el caso de Competencias Ciudadanas, se evalúan los conocimientos y habilidades para entender el entorno social, sus características y sus problemas, así como la forma de comportarse de acuerdo con sus derechos y deberes, principios y costumbres que caracterizan una región, zona o país. “Estos conocimientos y habilidades posibilitan el ejercicio de la ciudadanía y la participación activa en la comunidad” (ICFES, 2018a, p.1).

También, se evalúa la prueba de inglés, donde se valora la capacidad que tiene una persona para comunicarse de manera adecuada en una segunda lengua, teniendo en cuenta el Marco Común Europeo, que “permite clasificar a los examinados en 5 niveles de desempeño -A1, A1, A2, B1, B2” (ICFES, 2017, p.65).

Las pruebas aplican preguntas de opción múltiple con única respuesta y hacen un acercamiento a la realidad a través de casos prácticos o situaciones puntuales que deben ser resueltas de acuerdo con los conocimientos, habilidades y destrezas adquiridas por el estudiante en su proceso de formación.

Finalmente, se destaca que estas pruebas pretenden revisar las competencias adquiridas en la formación académica, identificar los índices de valor agregado por cada nivel de formación, servir como fuente de información de los conocimientos adquiridos por los estudiantes, con el fin de generar políticas educativas de acuerdo con las necesidades educativas (Isáziga et al., 2014; Orozco, 2019).

Conclusiones

Después de hacer una revisión de los sistemas de evaluación y pruebas estandarizadas Internacionales en Latinoamérica es importante reflexionar sobre la función, impacto y utilidad que han tenido estos organismos en la definición de las políticas educativas de cada uno de los países.

Los cambios en los sistemas económicos en Latinoamérica han producido modificaciones en los sistemas educativos, convirtiéndolos en estructuras basadas en políticas capitalistas que implican personas más competitivas y preparadas para los cambios y desafíos constantes del medio social; la formación por competencias ha sido el reto que muchos estamentos educativos han comenzado a emprender para formar personas competentes.

De esta manera, aparece la figura de la evaluación o prueba estandarizada como una forma de hacerle seguimiento a la educación que están recibiendo los futuros empleadores o trabajadores de los medios de producción. Además, que es útil para reconocer los conocimientos, habilidades y competencias tanto personales como académicas que han adquirido los estudiantes durante el proceso formativo.

Para algunos países que vimos durante el texto la evaluación es un insumo para revisar las políticas de educación y su impacto en los estudiantes y personal docente de las instituciones educativas; está en cada país usar estas herramientas de análisis para contribuir a la mejora continua de los procesos educativos.

Las evaluaciones por competencias o pruebas estandarizadas evalúan la capacidad que tienen los estudiantes de responder a situaciones o problemas propios del contexto, teniendo en cuenta los conocimientos. Es por ello que este tipo de evaluaciones hace un llamado a los organismos encargados de emitir las políticas educativas para modificar los paradigmas y patrones de enseñanza que hoy en día tenemos; es vital dejar a un lado la educación tradicional desde una postura positivista de dominio del conocimiento por parte del docente, para pasar a una educación dialógica, en donde el protagonista sea el estudiante y el docente cumpla el rol de guía, brindando al educando las herramientas necesarias para la construcción del conocimiento a partir de la interacción entre sus pares.

En la medida que la educación continúe bajo una relación vertical del conocimiento el estudiante no podrá obtener habilidades, destrezas y competencias para afrontar de manera reflexiva y crítica los desafíos que implica el entorno social y cotidiano.

A partir de la lectura de los diferentes contextos en los que se han desarrollado las pruebas, se ha podido evidenciar que los informes emitidos por los sistemas evaluadores solo han sido usados para definir el ranking de los estamentos educativos con puntajes más altos o bajos, y no se ha realizado un proceso de reflexión y problematización de los resultados desde los estamentos educativos para mejorar las debilidades que presentan los estudiantes y continuar, así, contribuyendo a enriquecer las fortalezas que los educandos tienen.

Lamentablemente, las pruebas no han sido usadas como un insumo para revisar los currículos y procesos de formación, la gestión educativa y demás factores que influyen en la formación del educando.

Retomando la importancia de la evaluación, es indispensable reflexionar desde los estamentos educativos sobre los currículos definidos y los currículos aplicados en las aulas de clase, porque es fundamental el rol del docente para la preparación y formación de los futuros bachilleres o profesionales. La importancia radica en que los estudiantes deben obtener las competencias necesarias en cada nivel de formación, integrando las experiencias, habilidades y capacidades adquiridas en otros escenarios sociales como: la familia, el barrio y la comunidad en general, ya que se debe comprender que los estudiantes son seres sociales producto de las construcciones de los diferentes escenarios de su cotidianidad y que, finalmente, la evaluación muestra el resultado de este aprendizaje en todas las esferas del ser.

Desde estas páginas, se hace una apuesta por reconocer la importancia de los sistemas de evaluación, vistos como una posibilidad de mejorar la calidad educativa en los diferentes niveles de formación, como un llamado a actualizar la forma como se está desarrollando la educación y, por ende, la política de educación.

Referencias

Acevedo, J. (2005). TIMSS Y PISA. Dos proyectos internacionales de evaluación del aprendizaje escolar en ciencias. Revista Eureka sobre enseñanza y divulgación de las ciencias, 2(3), 282-301.

Backhoff, E. y Contreras, S. (2014). “Corrupción de la medida” e inflación de los resultados de ENLACE. Revista mexicana de investigación educativa, 19(63), 1267-1283. http:// www. scielo. org. mx/ scielo. php? script=sci_arttext&pid=S140566662014000400012&lng=es&tlng= es

Bahamon, M. y Reyes, L. (2014). Caracterización de la calidad intelectual, factores sociodemográficos y académicos de estudiantes con alto y bajo desempeño en los exámenes Saber Pro - año 2012. Avances de Psicología Latinoamericana, 32(3), 459-476. DOI: https://doi.org/10.12804/ apl32.03.2014.01

Beaton, A., Martin, M., Mullis, I., Gonzalez, E., Smith, T. & Kelly, D. (1996). Science achievement in the middle school years: IEA’s third international mathematics and science study (TIMSS). TIMSS International Study Center, Boston College, Chestnut Hill, MA.

Brunner, J. (1990). Educación Superior en América Latina: cambios y desafíos. Fondo de Cultura Económica. http://www.terras.edu.ar/biblioteca/7/ SIST-Brunner%20-%20Unidad%205.pdf

Carabaña, J. (2015). Repetir hasta 4º de primaria: determinantes cognitivos y sociales según PIRLS. Revista de sociología de la educación, 8(1), 7-27. https://ojs3.uv.es/index.php/RASE/article/view/8758/8301

Carta Internacional de los Derechos del Hombre. (1948). Resolución 217ª (III). https://undocs.org/es/A/RES/217(III)

Casassus, J., Arancibia, V. y Froemel, J. (1996). Laboratorio Latinoamericano de Evaluación de Calidad de la Educación. Revista Iberoamericana De Educación, 10, 231-261. DOI: https://doi.org/10.35362/rie1001174

De la Orden, A. (2009). Evaluación y calidad: análisis de un modelo. Revista estudios sobre educación, 16, 17-36. DOI: https://www.unav.edu/ publicaciones/revistas/index.php/estudios-sobre-educación/article/ view/22426

Díaz, K. y Osuna, C. (2016). Las evaluaciones estandarizadas del aprendizaje y la mejora de la calidad educativa. Temas de educación, 22(1), 131-

Donoso, S., Arias, O., Gajardo, C. y Frites, C. (2013). Inequidades invisibles en la educación chilena: brechas entre estudiantes urbanos y rurales en la prueba PISA de lectura 2009. Educação & Sociedade, 34(125), 1203-1227.

Evaluaciones Internacionales LLECE - ERCE. (2019). Dirección de gestión y evaluación de la calidad. Ministerio de Educación Pública. http://www. dgec.mep.go.cr/evaluaciones-internacionales-llece

Ferrer, J. y Arregui, P. (2003). Las pruebas internacionales de aprendizaje en América Latina y su impacto en la calidad de la educación: criterios para guiar futuras aplicaciones. PREAL, 26, 1-29. http://repositorio. grade.org.pe/bitstream/handle/GRADE/382/ferrer_y_arregui_pruebas_ internacionales.pdf?sequence=1&isAllowed=y

Foy, P. (2018). PIRLS 2016 User guide for the international database. TIMSS & PIRLS International Study Center, Lynch School of Education Boston College and International Association for the Evaluation of Educational Achievement (IEA). https://timssandpirls.bc.edu/pirls2016/international- database/downloads/P16_UserGuide.pdf

Galeano, M. (2004). Estrategias de investigación social cualitativa. El giro en la mirada. La Carreta Editores.

García, F., Galián, B., Fernández, R. y Muñiz, J. (2019). Resiliencia educativa en comprensión lectora: factores determinantes en PIRLS-Europa. Revista de educación, 384, 71-96. http://digibuo.uniovi.es/dspace/ bitstream/10651/52288/1/Resiliencia.pdf

Gómez, G. (2008). La prueba internacional PIRLS 2001 y los componentes del proceso de lectura, estudio de factores asociados. Revista Iberoamericana de Educación, 45(3), 2-12. https://rieoei.org/historico/ deloslectores/2315Vera.pdf

Revista Bordón, 64(2), 29-39.

Guzmán, C., Serna, C. y Hoyos, D. (2012). Las pruebas ECAES en Colombia: una evaluación a la evaluación. PANORAMA, 6(10), 33-54. https://doi. org/10.15765/pnrm.v6i10.25

Informe Español. (2007). PIRLS 2006 estudio internacional de progreso en comprensión lectora de la IEA. Ministerio de Educación y Ciencia, Secretaría General de Ciencias, Instituto de Evaluación. https:// www.educacionyfp.gob.es/inee/dam/jcr:01b7dbb0-9944-4c30-ab73- 2fffaadd8703/pirls2006.pdf

Informe Nacional. (2017). TIMSS 2015. Agencia de Calidad de la Educación. http://archivos.agenciaeducación.cl/informe_nacional_de_resultados_ TIMSS_2015.pdf

Instituto de Fomento para la Calidad de la Educación Superior. (ICFES). (2011). Colombia en PIRLS 2011. Síntesis de resultados. https://es.slideshare. net/LUZ87654321/informe-colombia-pirls

Instituto de Fomento para la Calidad de la Educación Superior. (ICFES). (2017). Guía de orientación Saber Pro, módulos de competencias genéricas 2017-1.

Instituto de Fomento para la Calidad de la Educación Superior. (ICFES). (2018a). Guía de orientación Saber Pro, módulos de competencias genéricas.

Instituto de Fomento para la Calidad de la Educación Superior. (ICFES). (2018b). La prueba Saber 3º, 5º y 9º en 2017, los resultados a nivel de estudiantes y los factores asociados al aprendizaje (Edición 28). https:// www.icfes.gov.co/edicion-28-boletin-saber-en-breve

Instituto de Fomento para la Calidad de la Educación Superior. (ICFES). (2018c). Módulo de competencias ciudadanas 2018-1.

Isáziga, C., Gabalán-Coello, J. y Vásquez, F. (2014). La intervención académica en la construcción de una sociedad con calidad: análisis de valor agregado en el proceso formativo colombiano. Hallazgos, 11(22), 359-384.

Jiménez, J. (2016). El papel de la evaluación a gran escala como política de rendición de cuentas en el sistema educativo mexicano. Revista Iberoamericana De Evaluación Educativa, 9(1), 109-126. DOI: http:// dx.doi.org/10.15366/riee2016.9.1.007

¿qué evalúa e innova el proyecto en lectura y escritura?. Enunciación, 15(1), 15-32. DOI: https://revistas.udistrital.edu.co/index.php/enunc/ article/view/3102

López, V., Ascorra, P., Bilbao, M. y Oyanedel, J. (2012). El ambiente escolar incide en los resultados PISA 2009: Resultados de un estudio de diseño mixto. Ministerio de Educación, Fondo de Investigación y Desarrollo en Educación.

Márquez, A. (2017). A 15 años de PISA: resultados y polémicas. Perfiles

educativos, 39(156), 3-15.

Martínez, F. (2006). PISA en América Latina: lecciones a partir de la experiencia de México de 2000 a 2006. Revista de Educación, extraordinario, 153-167.

Martínez, F. (2009). Evaluación formativa en aula y evaluación a gran escala: hacia un sistema más equilibrado. Revista electrónica de investigación educativa, 11(2), 1-18. http://www.scielo.org.mx/scielo.php?script=sci_ arttext&pid=S1607-40412009000200002&lng=es&tlng=es

Ministerio de Educación Nacional. (2016). Revisión de políticas nacionales de educación. La Educación en Colombia. OCDE, Ministerio de Educación Nacional. https://www.mineducacion.gov.co/1759/articles-356787_ recurso_1.pdf

Miranda, L. y Schleicher, A. (2009). La educación peruana en el contexto de PISA. Grupo Santillana.

Mullis, I. y Martin, M. (Ed.). (2016). TIMSS 2015 marcos de la evaluación. IEA. http://www.educacionyfp.gob.es/inee/en/dam/jcr:50eb17ec-6b2f- 406a-9ecb-25d9957c385f/timss2015_web_espanol.pdf

Mullis, I. Kennedy, A., Martin, M. y Sainsbury, M. (2006). PIRLS 2006 marcos teóricos y especificaciones de evaluación. Estudio internacional de progreso en comprensión lectora. IEA, Ministeiro de Educación y Ciencia, Inecse. https://www.iea.nl/sites/default/files/2019-04/ PIRLS_2006_Framework_Spanish.pdf

Mullis, I., Martin, M., Beaton, A., Gonzalez, E., Kelly, D. & Smith, T. (1998). Mathematics and science achievement in the final year of secondary school: IEA’s third international mathematics and science study (TIMSS). TIMSS International Study Center, Boston College, Chestnut Hill, MA.

Mullis, I., Martin, M., Foy, P. & Drucker, K. (2011). PIRLS 2011 international results in reading. IEA, TIMSS & PIRLS, International Study Center, Lynch School of Education, Boston College. https://www.educaciónyfp. gob.es/inee/dam/jcr:870a2d57-2cc3-4de4-a2a7-107ff8f4b2e4/p11-ir- fullbook.pdf

Mullis, I., Martín, M., Ruddock, G., O´Sullivan, C. y Preuschoff, C. (2012). TIMSS 2011 marcos de la evaluación. TIMSS & PIRLS, International Study Center, Lynch School of Education, Boston College. https:// www.educaciónyfp.gob.es/inee/dam/jcr:3017a91e-dde7-44bd-a833- 62900f0d8b84/inee-timss-2011--marcos-de-la-evaluación.pdf

Olmeda, L. (2016). Nivel socioeconómico y rendimiento académico: estudiantes resilientes [Tesis de doctorado, no publicada]. Universidad Complutense de Madrid.

Organización para la Cooperación y el Desarrollo Económico. (OCDE). (2000). Proyecto PISA. La medida de los conocimientos y destrezas de los alumnos: un nuevo marco de evaluación. Ministerio de Educación, Cultura y Deporte, INCE. https://www.oecd.org/education/school/ programmeforinternationalstudentassessmentpisa/33694020.pdf

Organización para la Cooperación y el Desarrollo Económico. (OECD). (2004). Marcos teóricos de PISA 2003: la medida de los conocimientos y destrezas en matemáticas, lectura, ciencias y resolución de problemas. OCDE, Ministerio de Educación y Ciencia.

Organización para la Cooperación y el Desarrollo Económico. (OECD). (s.f.). El programa PISA de la OCDE. Que es y para qué sirve. OCDE. http:// bibliotecadigital.magisterio.co/libro/el-programa-pisa-de-la-ocde-qu-es- y-para-qu-sirve

Orozco, L. (2010). Calidad académica y relevancia social de la educación superior en América Latina. Revista Iberoamericana de Educación Superior, 1(1). https://www.redalyc.org/articulo.oa?id=2991/299128587002

Orozco, L. (2019). Calidad académica y relevancia social de la educación superior en América Latina. Revista Iberoamericana de Educación Superior, 1(1), 24-36. DOI: https://doi.org/10.22201/iisue.20072872e.2010.1.14

Padilla, R. (2009). Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros?. Revista perfiles educativos, 31(123), 44-59.

Passos, E. y Alvarado, C. (2013). Factores institucionales y desempeño estudiantil en las pruebas Saber Pro de las Instituciones Públicas Técnicas y Tecnológicas del Caribe Colombiano. Revista de investigaciones, 1(1), 60-67. http:// www. udi. edu. co/ revista investigaciones /index.php/ID/ article/view/34

Pruebas PISA: que países tienen la mejor educación del mundo y qué lugar ocupa América Latina en la clasificación. (03 diciembre de 2019). BBC. https://www.bbc.com/mundo/noticias-internacional-50643441

Robitaille, D. & Garden, R. (Ed.). (1996). Research Questions & Study Design.

Salas, W. (2005). Formación por competencia en educación superior. Una aproximación conceptual a propósito del caso colombiano. Revista Iberoamericana de educación, 36(9), 2-11. https://dialnet.unirioja.es/ servlet/articulo?codigo=2660166

Saldarriaga, L. y López, C. (2015). Uso de bases de datos disponibles para investigación. https:// www. icfes. gov.co /documents/ 20143/ 235414/ Manejo%20de%20base%20de%20datos%202015.pdf

Salgado, A. (2007). Investigación cualitativa: diseños. Evaluación del rigor metodológico y retos. Liberabit, 13(13), 71-78. http://www.scielo.org. pe/scielo.php?script=sci_arttext&pid=S1729-48272007000100009&lng

Jurado, F. (2010). Las pruebas internacionales del laboratorio SERCE-LLECE: ¿qué evalúa e innova el proyecto en lectura y escritura?. Enunciación, 15(1), 15-32. DOI: https://revistas.udistrital.edu.co/index.php/enunc/ article/view/3102

Schulz, W., Ainley, J., Fraillon, J., Kerr, D. y Losito, B. (2010a). Resultados iniciales del estudio internacional de Educación Cívica y Ciudadana de la IEA. ACER, NFER, Universita degli studi Roma Tre, Laboratorio di Pedagogía sperimentale. https://www.iea.nl/sites/default/files/2019-04/ ICCS_2009_Initial_Findings_Spanish.pd

HTML generado a partir de XML-JATS4R por