INTRODUCCIÓN

El Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés), que adelanta la Organización para la Cooperación y el Desarrollo Económico (OCDE), desde el año 2000, tiene como propósito evaluar cada 3 años las habilidades lectoras, científicas y matemáticas que han adquirido los estudiantes de 15 años de edad (OCDE, 2020c). A pesar de que la OCDE es un organismo que busca impulsar políticas que promuevan el bienestar económico y social (OCDE, 2020a), su propósito de medir y comparar las competencias de estudiantes de secundaria a nivel internacional va en sincronía con dicho objetivo, pues a partir de sus datos busca orientar políticas para mejorar la calidad de la educación. En este sentido, el auge del trabajo educativo por parte de la OCDE está vinculado a lo que Sellar y Lingard (2014) denominan como “economización de la política educativa” (economization of education policy) o “educacionalización de la política económica” (educationing of economic policy). Es decir, la educación como herramienta del capital humano que contribuye a las economías basadas en el conocimiento. Sin desconocer, para estos autores, que existen críticas contundentes a esta narrativa que argumentan que la promesa de obtener más ingresos a través de un mayor aprendizaje no se puede mantener.

A través de PISA, la OCDE ha ejercido una importante influencia en diversos ámbitos como la educación, las políticas públicas o educativas (Correa-Betancour, 2016; Geidel, 2016; Grek, 2010; Rinne, 2008), que suscita toda una serie de acciones por parte de los diversos actores que intervienen en dichas áreas. Esta evaluación produce indicadores que toman en cuenta los países participantes para medir la calidad de la educación y sus sistemas educativos a nivel internacional, para orientar nuevas y mejores prácticas, para reformular sus políticas educativas, para mejorar la evaluación y el seguimiento de la eficacia de los sistemas educativos, entre otros (Díaz, 2005; Pereira et al., 2016).

No obstante, este programa de evaluación global ha estado sujeto a todo tipo de análisis y discusiones. Durante sus dos décadas de ejecución se han dado críticas en torno a su metodología e implementación (Grisay et al., 2007; Hopfenbeck et al., 2018a; Schuelka, 2013a); por su visión monolítica, heterogénea y distorsionada de la educación (Berliner, 2018; Sjøberg, 2015); por su influencia y rasgos políticos (Baird et al., 2016; Bieber y Martens, 2011; Sjøberg, 2017), entre muchas otras. Lo que deja ver que, a pesar de la posición prominente de PISA, es una prueba que no está libre de cuestionamientos y a la que hay que prestar atención, en especial, por el alcance de sus datos.

Estas discusiones sobre PISA se han visto reflejadas en la producción académica, desde donde se analiza y comprende la pertinencia, el papel y el fenómeno de estas pruebas. Por tal motivo, la presente investigación tiene como propósito sistematizar y analizar las tendencias de la literatura sobre las pruebas PISA de la OCDE para determinar la manera como se ha abordado y el impacto que ha tenido en la producción académica, específicamente en artículos de investigación. Para cumplir con el objetivo, se realiza una revisión de la literatura utilizando una de principales bases de datos bibliográficas de resúmenes y citas de artículos de revistas científicas como lo es Scopus, que permite generar una gran cantidad de indicadores bibliométricos y citacionales.

1. METODOLOGÍA

El presente artículo es un estudio bibliográfico en el que se recopila, sintetiza, analiza y discute la información publicada sobre estas pruebas internacionales que mide el rendimiento académico de los alumnos en las competencias anteriormente descritas. Por esta razón, este apartado describe la manera como se llevó a cabo la búsqueda de la literatura sobre las pruebas PISA, esto es, el método empleado para la búsqueda y localización de la información, así como los criterios para depurar los artículos que se van a incluir o no en la revisión.

En este sentido, la base de datos que se utilizó para realizar una revisión a las tendencias de la literatura fue Scopus, que en la actualidad se constituye como una de las más relevantes en el ámbito internacional, llegando incluso a desafiar el papel dominante de otras bases de datos tradicionales como es el caso de Web Of Science (Zhu y Liu, 2020). A partir de esta herramienta, que no solo recopila información bibliográfica, sino que permite analizar el comportamiento de citas recibidas por una revista, por autor, por institución, entre otras ventajas, se sistematizaron y analizaron las tendencias de la literatura sobre las pruebas PISA de la OCDE.

El descriptor de búsqueda para la selección de la literatura fue “PISA”, así como la especificación se su sigla “Programme for International Student Assessment”. Esta última fue clave para limitar la búsqueda al programa de evaluación y evitar así resultados que llevaran a temas relacionados con el síndrome de Pisa y la ciudad de la región italiana de Toscana, y todo lo relacionado con esta última. De esta forma, los términos de búsqueda en Scopus se establecieron en los campos “título”, “resumen” y “palabras clave”. El objeto de estudio está formado por las investigaciones publicadas entre el año 2000 y 2021, la razón obedece a que, a pesar de que PISA fue desarrollado entre 1997 y 1999, fue aplicado por primera vez en el año 2000, rango de tiempo que refleja el comportamiento de la producción académica con las aplicaciones de las pruebas y posteriores publicaciones de los informes.

El tipo de documento sobre el cual se limitó la búsqueda fueron artículos de revistas de investigación en español e inglés en el área de Social Sciences, excluyendo otras áreas donde también se han hecho publicaciones sobre estas pruebas. La razón de que se escogiera solo artículos de revistas obedece a que es sobre este tipo de documentos donde más se publica acerca de este tema en todas las áreas, con un total de 373, en comparación con Conference paper (30), Review (15), Book chapter (10), Book (3) y Undefined .4).

2. TENDENCIAS DE LA LITERATURA SOBRE LAS PRUEBAS PISA

A continuación, se realizará una revisión de las pruebas PISA en la literatura académica a partir de los criterios “PISA” y “Programme for International Student Assessment” en Scopus. Para ello, primero, se analizarán los 10 textos más citados sobre PISA en los últimos 21 años y que se concentran en dos ejes y, segundo, se realizará una clasificación por áreas temáticas de los artículos más relevantes, para luego dar cuenta de las discusiones más importantes en este campo.

2.1 Artículos de mayor impacto sobre las pruebas PISA

De los diez artículos más citados acerca de PISA en Scopus destacan los estudios que giran en torno a dos ejes: el primero, los que se refieren al papel e influencia que ha tenido estas pruebas en el desarrollo, evaluación y puesta en marcha de políticas y sistemas educativos a nivel internacional, independiente de si los países que participan hacen parte de la OCDE. Un ejemplo claro de esto es el artículo “Governing by numbers: The PISA 'effect' in Europe” que es el que posee mayor cantidad de citas académicas en los últimos 20 años, con un total de 539. Este artículo, escrito por Sotiria Grek (2009), analiza el papel de la OCDE en la formulación y dirección de la política educativa a nivel europeo y mundial, tomando como base el primer ciclo completo de la evaluación PISA (2000-2006). Utiliza tres ejemplos, los casos de Finlandia, Alemania y Reino Unido, para explicar el efecto PISA y cómo se utilizan sus resultados para justificar cambios o proporcionar apoyo a la dirección de políticas educativas. El documento concluye que PISA, a través de su impacto en los sistemas educativos nacionales en Europa y a nivel internacional, se ha convertido en una herramienta indirecta, pero no menos importante, de la nueva política de gobernar el espacio educativo.

Esta idea de la relevancia y papel que ha cumplido PISA en las políticas y sistemas educativos en el transcurso de los últimos años es reforzada por las autoras Tonia Bieber y Kerstin Martens (2011), quienes destacan el hecho de que la OCDE a través de su programa PISA se ha convertido en un referente y ha ganado cada vez más peso en la política educativa en los últimos años. Toma dos ejemplos de estudio en concreto, el caso de Suiza y de Estados Unidos, donde explican cómo PISA provocó reacciones políticas en estos países. Ofrece ilustraciones empíricas del efecto de sus políticas educativas y evalúa hasta qué punto las reformas internas de dichos países reflejan las recomendaciones de la OCDE. El artículo titulado “The OECD PISA Study as a Soft Power in Education? Lessons from Switzerland and the US”, se ubica en la sexta posición de lo diez más citados.

Otro artículo que sigue esta misma línea de la influencia de las pruebas PISA en su reforma al sistema educativo es la investigación de Neumann et al. (2010), titulado “From PISA to educational standards: The impact of large-scale assessments on science education in Germany”. El texto destaca la influencia que tuvo los resultados de PISA al revelar un rendimiento promedio de los estudiantes de Alemania en comparación con otros países participantes, para una reforma en el sistema educativo de ese país. Una pieza central de esta reforma fue la introducción de los Estándares Educativos Nacionales, lo que produjo un cambio de paradigma desde la noción alemana de “bildung” hacia la noción angloamericana de alfabetización. De acuerdo con los autores, con la introducción de estos estándares se creó un nuevo campo de investigación educativa empírica: la investigación sobre modelos de alfabetización científica o modelos de competencia como base para la evaluación comparativa de los estándares.

Precisamente, el artículo “The OECD and the expansion of PISA: New global modes of governance in education” examina la expansión de PISA y el crecimiento asociado en la influencia del trabajo educativo de la OCDE. Los autores afirman que PISA se ha convertido en uno de los “productos” más exitosos de la OCDE y ha fortalecido el papel de la Dirección de Educación dentro de la organización, así como ha mejorado la importancia de la organización en la educación a nivel mundial. Además, explican cómo la OCDE está expandiendo PISA al ampliar el alcance de lo que se mide; aumentar la escala de la evaluación para cubrir más países, sistemas y escuelas; y mejorar su poder explicativo para proporcionar mejor información a los responsables políticos. El documento se basa en datos de 33 entrevistas con personal pasado y presente de la OCDE, la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) y los sistemas educativos inglés y australiano, así como el análisis de documentos relevantes de la OCDE. Argumentan que PISA, y el trabajo educativo de la OCDE en general, ha facilitado nuevos modos epistemológicos y de infraestructura de gobernanza global para la OCDE en educación (Sellar y Lingard, 2014).

Sin duda, el hecho más relevante en este eje de estudio obedece al impacto que PISA tiene sobre las políticas educativas. No obstante, Gorur (2011), en su artículo “ANT on the PISA Trail: Following the statistical pursuit of certainty”, cuestiona el papel que desempeña PISA en la formulación de las políticas educativas al observar que los responsables de estas dependen cada vez más de esta prueba para proporcionar medidas fiables del sistema educativo de un país en comparación con los puntos de referencia internacionales. Se cuestiona por qué PISA adquiere conocimiento y habla de educación, así como una “autoridad” que los países pueden consultar para obtener asesoramiento sobre políticas educativas.

Ahora bien, el segundo eje sobre el cual giran los diez artículos más citados sobre PISA en Scopus es el que aborda las bases metodológicas y de implementación, bien sea por los datos arrojados por PISA desde las tres áreas evaluadas (matemáticas, ciencia y lectura) o por la pertinencia del sistema de evaluación. Un ejemplo es el artículo de Harvey Goldstein (2004) titulado “International comparisons of student attainment: Some issues arising from the PISA study”. Este texto plantea algunas inquietudes metodológicas sobre la realización, el análisis y la interpretación de los resultados del estudio de PISA. Afirma que, si bien en muchos aspectos PISA representa un avance en los intentos anteriores de estudios de evaluación comparativa internacional, por ejemplo, los de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA, por sus siglas en inglés), su estudio conserva ciertos aspectos problemáticos, como el análisis de datos e interpretación de sus resultados.

Referente a las áreas evaluadas por PISA, sobresale el artículo de los autores Rodger Bybee y Barry McCrae (2011a) titulado “Scientific literacy and student attitudes: Perspectives from PISA 2006 science”, donde se analiza las pruebas PISA de 2006, destacando la importancia de la educación científica que se le dio en dicho año. Se subraya que PISA proporciona una perspectiva que enfatiza la aplicación del conocimiento a situaciones de la vida relacionadas con la ciencia y la tecnología. Además, que la orientación de esta prueba incluye tanto conocimientos como actitudes, y que contribuyen a las competencias de los estudiantes que son fundamentales para la alfabetización científica.

En esta misma línea de estudio sobre el área de las ciencias se encuentra el artículo “The Effects of Inquiry Teaching on Student Science Achievement and Attitudes: Evidence from Propensity Score Analysis of PISA Data”, ubicado en la novena posición. El texto toma como base de estudio las pruebas PISA 2006 para analizar la eficacia de la estrategia de enseñanza en estudiantes en el área de ciencias. Una de sus conclusiones es que la enseñanza de la indagación es un acto pedagógico complejo y que la mayoría de los educadores reconocen que no siempre es aplicable en todas las situaciones de instrucción para todos los estudiantes con todos los contenidos. Es decir, que los profesores de ciencias entienden que hay un momento y un lugar para la enseñanza de la indagación de alta calidad, así como hay razones para aplicar un nivel bajo y superior (Jiang y McComas, 2015).

Por último, se encuentran dos artículos que analizan el contexto donde se aplican las pruebas y su pertinencia al sistema de evaluación. Así, se tiene el artículo de Laura Perry y Andrew McConney (2010) titulado “Does the SES of the school matter? An examination of socioeconomic status and student achievement using PISA 2003”, donde se analiza la relación del nivel socioeconómico de las escuelas (SES, School Socioeconomic Status) con el rendimiento de los estudiantes. El estudio toma como muestra los resultados de PISA 2003 de 320 escuelas secundarias y más de 12.000 estudiantes de Australia. Los autores concluyen que los aumentos en el SES medio de una escuela están asociados con aumentos constantes en el rendimiento académico de los estudiantes, y que esta relación es similar para todos los estudiantes, independientemente de su SES individual. Para el caso australiano, la composición socioeconómica de la escuela es importante en términos del rendimiento académico de los estudiantes.

Y el artículo de Sergio Perelman y Daniel Santín (2011), titulado “Measuring educational efficiency at student level with parametric stochastic distance functions: An application to Spanish PISA results”, examina las diferencias observadas en el rendimiento de las pruebas de los estudiantes entre las escuelas públicas y privadas en España. Argumentan que los antecedentes de los estudiantes, el grupo de compañeros, las características de la escuela y las circunstancias personales interactúan con los resultados educativos.

La siguiente tabla ilustra la posición que ocupan las investigaciones anteriormente descritas dentro de los 10 artículos de mayor impacto en Scopus.

De esta forma, se puede observar que los diez artículos más citados y de mayor impacto sobre PISA se desarrollan desde dos ejes: por un lado, el alcance que ha tenido estas pruebas en el desarrollo, evaluación y puesta en marcha de políticas y sistemas educativos y, por el otro, el que aborda las bases metodológicas y de implementación de las pruebas. Llama la atención que no hay ningún artículo que desarrolle un análisis de PISA desde cualquiera de los ejes, centrado en un país o región latinoamericana. La mayoría son de países europeos y de EE. UU.

2.2 Tendencias de la literatura sobre las pruebas PISA

A continuación, se presentan las discusiones más importantes que se han dado en el ámbito académico sobre las pruebas PISA. Para tal fin, los artículos han sido clasificados en cuatro áreas temáticas: PISA y su metodología; PISA y su impacto en la educación; PISA y el resultado de las pruebas; y diversidad de estudios entorno a PISA. La selección de los textos se hizo con base en el criterio de impacto, es decir, atendiendo a la bibliografía con mayor número de citaciones en Scopus.

2.2.1 PISA y su metodología

Dentro de esta categoría se encuentran estudios sobre la metodología e implementación de las pruebas, su sistema de evaluación y las competencias evaluadas. El número de artículos encontrados en esta categoría es considerable, debido a que es uno de los aspectos más críticos de analizar por la propia naturaleza de las pruebas, a saber, evaluar por medio de un conjunto de herramientas y técnicas los conocimientos y habilidades de un grupo de estudiantes en un rango de edad específico y en sistemas de educación diversos.

Del conjunto de artículos que abordan el estudio sobre el método e implementación de PISA se pueden encontrar temas específicos que analizan el enfoque de los cuestionarios en la evaluación cognitiva (lectura, matemática y ciencia), y los indicadores (edad, programa de estudio, estructura familiar, nivel de estudio de los padres, tipo y tamaño de escuela, etc.) (Drechsel et al., 2011; González-Such et al., 2016; D. Rutkowski y Rutkowski, 2013); el sistema curricular y el contenido de las preguntas y su relación con la diversidad cultural (Asil y Gelbal, 2012; Çetin, 2010; Feniger y Lefstein, 2014; Huang et al., 2016); la traducción de las pruebas en el contexto internacional, por ejemplo, su calidad, su posible influencia en los resultados, la relación con el contexto de cada cultura, etc. (Bray y Kobakhidze, 2014; El Masri et al., 2016; Grisay, 2003; Hatzinikita et al., 2008; Solano-Flores et al., 2006), entre otros temas.

Sobre el sistema de evaluación se destacan artículos como el de Fernández-Cano (2016), titulado “A methodological critique of the PISA evaluations”. En este el autor realiza un análisis crítico de las deficiencias y limitaciones del sistema de evaluación de PISA basadas en: un fundamento inconsistente, muestreo opaco, diseño evaluativo inestable, instrumentos de medición de validez cuestionable, uso oportunista de puntajes transformados por la estandarización, ausencia de estadísticas sustancialmente significativas centradas en las magnitudes de los efectos, una presentación problemática de los hallazgos e implicaciones cuestionables extraídas de los hallazgos para las normas y la práctica educativas. No obstante, autores como Jerrim et al. (2017) afirman que los complejos diseños de encuestas y pruebas utilizados siguen siendo incomprendido por muchos consumidores de estos datos (políticos, académicos, medios de comunicación, público en general). De ahí que esta investigación se centrará en fomentar una mejor comprensión de las características complejas de este tipo de evaluación a gran escala y promover mejores prácticas de su uso, pues evidencian que los análisis secundarios de estos datos tienen el potencial de influir en la educación política y práctica en todo el mundo.

Uno de los temas de mayor impacto por el número de artículos existentes dentro de esta categoría tiene que ver con el análisis de las competencias evaluadas. Investigadores como Andreas Schleicher, el propio director de Educación de la OCDE afirma que dado que no existe un acuerdo general sobre las competencias fundamentales que deben poseer los jóvenes de 15 años, las competencias que evalúa PISA (matemática, ciencia y lectura) son altamente predictivas para el éxito futuro de los estudiantes. Es decir, competencias básicas donde los estudiantes tienen la capacidad de aplicar los conocimientos y habilidades para analizar, razonar y comunicarse eficazmente mientras plantean, resuelven e interpretan problemas en una variedad de situaciones (Schleicher, 2007). A lo que autores como Nina Dohn (2007) critican al sostener que, contrariamente a las afirmaciones de PISA, esta prueba no es una evaluación de los “conocimientos y habilidades para la vida” de los estudiantes, sino solo de “conocimientos y habilidades en situaciones de evaluación”. Es decir, se evalúa conocimientos y habilidades para un conjunto de interrogantes en forma de encuesta, y no se relaciona con el contexto real de los estudiantes, más aún cuando hay una generalización de la prueba en diversos países desconociendo la realidad de cada uno.

A su vez, existen una gran variedad de artículos que abordan por separado cada una de las competencias evaluadas por PISA. De esta forma, se encuentran estudios dedicados a analizar la competencia lectora (Brozo et al., 2007; Debeer et al., 2014; Gumus y Atalmis, 2011; Lee y Wu, 2012; Merry, 2013; Torppa et al., 2018; Vázquez-Cano et al., 2020a), la competencia matemática (Anderson et al., 2007; Gilleece et al., 2010; Kanes et al., 2014; Karakolidis et al., 2016; Knipprath, 2010; Martin et al., 2012; Martins y Veiga, 2010; Wu, 2009), y la competencia científica (Anderson et al., 2007; Bybee y McCrae, 2011b; Gilleece et al., 2010; Jiang y McComas, 2015; Kubiatko y Vlckova, 2010a; Martin et al., 2012). Es importante aclarar que estos son los estudios que tienen mayor número de citaciones, pues existen por cada competencia un número considerable de estudios.

Esta diversidad de temas sobre la metodología utilizada en las pruebas, su sistema de evaluación y las competencias evaluadas deja en evidencia el impacto que ha tenido PISA en el ámbito académico al tratarse de un tema clave: los exámenes estandarizados a nivel internacional que se encargan de evaluar los sistemas de educación con el objetivo de mejorar la calidad educativa.

2.2.2 PISA y su impacto en la educación

Uno de los temas de mayor relevancia, por la propia naturaleza y objetivo primordial de la OCDE, tiene que ver con el papel que ha desempeñado PISA en ámbitos como la educación, las políticas públicas o educativas. Bajo este aspecto se encuentran una gran variedad de artículos que abordan la influencia que ha ejercido esta prueba desde sus inicios, por ejemplo, en el hecho de que numerosos países justifican o ajustan sus reformas nacionales de educación de acuerdo con los resultados de las pruebas, en cómo la OCDE se ha convertido en una autoridad internacional en dichos campos, cómo PISA desempeña un papel fundamental en la institucionalización de un nuevo modo de gobernanza de la educación global, en el que la soberanía estatal sobre la educación es reemplazada cada vez más por la influencia de las evaluaciones internacionales a gran escala, y de cómo se ha convertido en un instrumento de política pública, cuya circulación mundial está mediada por procesos de reinterpretación, negociación y recontextualización, donde se entrelazan agencias nacionales, locales e internacionales (Carvalho y Costa, 2015; Gorur, 2016; Grek, 2009; Pongratz, 2006; Waldow et al., 2014).

Incluso, se pueden encontrar artículos con una visión desde las relaciones internacionales, como el titulado “The OECD PISA Study as a Soft Power in Education? Lessons from Switzerland and the US”. Este texto, con un número considerable de citaciones (88 a la fecha), analiza cómo dos países reaccionan diferente a los resultados de PISA: Suiza y EE. UU., así como la forma en que la OCDE impacta en la política educativa nacional haciéndola converger hacia su "modelo" internacional. Los autores concluyen, a través de un estudio de las políticas educativas de estos países, que Suiza ha llevado a cabo una serie de reformas en los últimos años que reflejan las recomendaciones de la OCDE, en comparación con EE.UU., que ha sido mínima, en aspectos como la equidad social, la investigación, la autonomía escolar, los estándares educativos, la calidad de la educación, entre otros. Lo que refleja que la gobernanza transnacional de este organismo internacional ha influido en reformas educativas, como se evidencia en el país europeo. No obstante, que el grado de cambios en las políticas depende de si la OCDE puede activar mecanismos de convergencia en el país respectivo (Bieber y Martens, 2011).

Dentro de esta misma área de investigación de las relaciones internacionales se encuentran artículos que abordan las pruebas PISA desde lo que se denomina como la “globalización de la política educativa”. En este sentido, para autores como Rautalin, Alasuutari y Vento (2019) los debates sobre las políticas educativas presentan un discurso cada vez más global en el que organizaciones como la OCDE tienen un papel de autoridad. Es decir, existe una tendencia global en la que las políticas nacionales se debaten cada vez más a menudo a través de apelaciones a modelos y asesoramiento de políticas promulgadas por organizaciones internacionales. A pesar de que el debate sobre las políticas nacionales en un contexto global y la utilización de los discursos transnacionales, independientemente del área política, ha estado durante mucho tiempo, idea que refuerza Gorur (2016) al afirmar que PISA se está convirtiendo en un fenómeno generalizado, sin embargo, añade que la administración de la educación se caracteriza por un enfoque intenso en la medición de la producción, un entorno altamente competitivo reforzado por las clasificaciones nacionales e internacionales y un enfoque económico e instrumentalista de la educación y la reforma educativa a escala global.

En este mismo sentido, autores como Mangez y Hilgers (2012) argumentan que el desarrollo de PISA es parte de una transformación más amplia de equilibrios dentro del campo del conocimiento (educativo), es decir, un alejamiento de su polo autónomo hacia su polo heterónomo. Tal movimiento transforma la configuración misma del campo del conocimiento: se ha expandido y atrae a un número creciente de actores internos y externos alrededor de su polo heterónomo. Esto corresponde a una transformación del equilibrio dentro del campo general de poder, donde la burguesía intelectual (artistas, profesores, académicos, escritores) está cada vez más subordinada a los intereses económicos y políticos, de hecho, a veces trabajando para ellos. Los autores argumentan, además, que la incorporación de PISA a nivel de los campos de la política educativa también transforma su forma y configuración, pues dentro de los campos de las políticas, la difusión y recepción de PISA refuerza una comprensión heterónoma de la educación que se define principalmente en términos de su contribución a los intereses externos. Bajo esta misma perspectiva del poder y gobernanza educativa se encuentra el artículo “The legitimation of OECD's global educational governance: examining PISA and AHELO test production” de Morgan y Shahjahan (2014), quienes argumentan que a través de PISA la OCDE legitima su poder y experiencia, y define “qué cuenta” en educación. Afirman que este organismo internacional despliega tres mecanismos de gobernanza educativa: 1) aprovechando los éxitos pasados ​​de la OCDE; 2) reuniendo capacidad de conocimiento, 3) y desplegando recursos burocráticos.

2.2.3 PISA y el resultado de las pruebas

Bajo esta área temática se encuentran artículos que abordan las pruebas PISA desde tres aspectos: un análisis de los resultados de PISA, estudios comparativos de los resultados de las pruebas entre países, y estudios comparativos con otras pruebas de educación internacional.

Respecto al estudio sobre los resultados de PISA, y como se ha mencionado a lo largo de este artículo, las pruebas evalúan tres competencias esenciales: lectura, matemáticas y ciencias. Cada evaluación ha tenido una como centro: para el año 2000 fue lectura, para el 2003 fue matemáticas, para el año 2006 fue ciencias, y así sucesivamente repitiéndose el mismo proceso en dicho orden, es decir, el ciclo se repite cada nueve años. Cuando se habla de “centro” se hace referencia a que la competencia en cuestión es de calidad suficiente para servir de referencia para evaluaciones posteriores.

En este orden de ideas, los artículos que se ubican bajo esta categoría analizan de forma específica los resultados de las pruebas de un año en particular, esto es, el rendimiento de los estudiantes mediante el promedio de los puntajes obtenidos. De esta manera, se encuentran artículos como el de Bybee (2011b), titulado “Scientific literacy, environmental issues, and PISA 2006: The 2008 Paul F-Brandwein lectura” y con 44 citaciones, que proporciona una descripción general de los resultados PISA 2006, para luego, y a partir de los resultados, entrar en una discusión sobre las competencias y actitudes científicas de los estudiantes en relación con cuestiones ambientales y de recursos. O como el artículo de Linnakyla y Malin (2008), “Finnish students' school engagement profiles in the light of PISA 2003”, que sobre la base de las respuestas de los estudiantes al cuestionario de la encuesta PISA 2003 agrupan a los estudiantes y se perfilan mediante el análisis de conglomerados en términos de aceptación entre pares, relaciones alumno-maestro y percepciones del valor de la escuela y la educación para el futuro.

Sobre los estudios comparativos de los resultados de las pruebas entre países, los resultados de PISA generalmente se agregan y se presentan en las llamadas “tablas de clasificación”, en las que los países se comparan y clasifican en cada una de las tres escalas (matemáticas, lectura y ciencia) (Kankaraš y Moors, 2014). Precisamente, en este grupo se encuentran estudios comparativos que analizan los resultados de dichas categorías con los de otros países. Un ejemplo de esto se encuentra en el artículo de Kjærnsli y Lie (2011) titulado “PISA and scientific literacy: Similarities and differences between the nordic countries”. En él, los autores se proponen buscar similitudes y diferencias entre los países nórdicos (Dinamarca, Finlandia, Islandia, Noruega y Suecia), en lo que respecta a los patrones de competencias definidos como alfabetización científica en el programa PISA. Otro ejemplo es el artículo “Tracing the U.S. Deficit in PISA Reading Skills to Early Childhood: Evidence from the United States and Canada”, de Joseph Merry (2013), donde se comparan los puntajes de las pruebas de lectura de PISA de los estudiantes de Estados Unidos y Canadá, evidenciando una ventaja para los estudiantes canadienses.

Finalmente, respeto a los estudios comparativos con otras pruebas de educación internacional, si bien la OCDE no es el único organismo internacional que evalúa los sistemas de educación –pues también se encuentra el PNUD, la UNESCO, el Banco Mundial, entre los más destacados–, existen otras pruebas internacionales a gran escala, que se interesan por medir un conjunto particular de competencias en los estudiantes a nivel mundial. Un ejemplo de ello lo constituye la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA, por sus siglas en inglés), que realiza estudios de evaluación a gran escala para comparar políticas y prácticas educativas de distintos países. Entre tales estudios hay dos que son reconocidos y valorados: PIRLS (comprensión lectora) y TIMSS (matemáticas y ciencias). Bajo esta óptica se encuentran artículos como el de Schuelka (2013b), “Excluding students with disabilities from the culture of achievement: the case of the TIMSS, PIRLS, and PISA”; el de Wu (2009), “A comparison of PISA and TIMSS 2003 achievement results in mathematics”; el de Rindermann y Baumeister (2015), “Validating the Interpretations of PISA and TIMSS Tasks: A Rating Study”, entre otros.

2.2.4 Diversidad de análisis

Dentro de esta categoría se ubican investigaciones que analizan una variedad de temáticas relacionadas con PISA. De esta manera, se encuentran artículos que abordan la relación del estatus socioeconómico y las pruebas PISA. Es decir, además de la evaluación de las pruebas en las tres competencias (matemáticas, lectura y ciencia), que son las variables dependientes de los estudios, PISA recoge información sobre las características de los estudiantes, sus familias y de los centros educativos. En esta categoría, los autores están particularmente interesados en las desigualdades relacionadas con el SES (socioeconomic status) de los estudiantes, familias, escuelas, comunidades o sistemas y su correlación con las pruebas PISA (Chi et al., 2018; Jeffries et al., 2020; Li, 2016; Li et al., 2013; Martin et al., 2012; Perry y McConney, 2010; Rajchert et al., 2014; Sullivan et al., 2018; Sun et al., 2012; Xu y Dronkers, 2016). Se destaca el artículo de Perry y McConney (2010) (tercero más citado de acuerdo con la presente investigación), que analiza la relación del nivel socioeconómico de las escuelas secundarias de Australia con el rendimiento de los estudiantes (toma como muestra los resultados de PISA 2003 de 320 escuelas secundarias y más de 12.000 estudiantes de ese país). Otro artículo que sobresale es el de Sun et al. (2012), con un total de 48 citaciones, donde se afirma que los estudiantes de familias de alto nivel socioeconómico y con mayor motivación y autoeficacia tienen más probabilidades de demostrar logros en ciencias. El estudio utilizó datos de la muestra de Hong Kong de PISA 2006.

Así mismo, se encuentran artículos que analizan la relación entre las TIC y las pruebas PISA. Los autores que abordan esta temática se interesan principalmente por evaluar el uso de las tecnologías de la información y la comunicación (TIC) y el impacto en el rendimiento de los estudiantes, según lo medido en el programa de la OCDE. De esta forma, se encuentran artículos que muestran los efectos positivos o avances significativos de la inversión en TIC sobre el rendimiento escolar (Kubiatko y Vlckova, 2010b; Petko et al., 2017; Spiezia, 2010), los que muestran los impactos negativos o pocos efectos de las TIC sobre el rendimiento académico (Agasisti et al., 2020; Steffens, 2014; Vázquez-Cano et al., 2020b), y los que destacan la posible variación en el uso de las TIC, bien sea para una competencia evaluada en las pruebas PISA en específico, por el contexto del país, por el SES de las familias, etc. (Meng et al., 2019; Zhang y Liu, 2016).

Finalmente, existen investigaciones que analizan la relación entre PISA y otros estudios de educación de la OCDE. Como se ha dicho anteriormente, la OCDE ha puesto en marcha programas como PISA for Schools, PISA for Development y el Estudio Internacional de Bienestar Infantil y Aprendizaje Temprano. Esto ha generado que distintos investigadores analicen las iniciativas y alcances de la OCDE a través de los diversos programas y herramientas de PISA, como se puede evidenciar en artículos como el de Lewis et al. (2016), titulado “PISA for schools: Topological rationality and new spaces of the OECD’s global educational governance”; el de Lewis (2017), “Governing schooling through ‘what works’: the OECD’s PISA for Schools”; el de Addey (2017), “Golden relics & historical standards: how the OECD is expanding global education governance through PISA for Development”; el de Auld et al. (2019) “PISA for Development: how the OECD and World Bank shaped education governance post-2015”, por mencionar a algunos de los más citados.

En suma, en este apartado se pudo identificar las discusiones más importantes que se han dado sobre las pruebas PISA y que se clasificaron en cuatro áreas temáticas: PISA y su metodología, donde se encuentran estudios en torno al método e implementación de las pruebas, su sistema de evaluación y las competencias evaluadas; PISA y su impacto en la educación, donde se encuentran una gran variedad de artículos que abordan la influencia que ha ejercido esta prueba desde sus inicios, especialmente en ámbitos como la educación, las políticas públicas o educativas; PISA y el resultado de las pruebas, donde se analizan los resultados de las competencias evaluadas y, finalmente, un área temática donde se encuentran investigaciones que analizan una variedad de temáticas relacionadas con PISA, como el estatus socioeconómico, las TIC y otros estudios sobre educación de la OCDE. Investigaciones que, en su mayoría, son estudios de sistemas y resultados de educación de países occidentales, en especial, de países europeos.

3. ANÁLISIS DE REDES BIBLIOGRÁFICAS

Teniendo como referencia la clasificación realizada sobre la literatura existente acerca de las pruebas PISA de la OCDE y las temáticas que abordan los artículos más citados sobre dicho asunto en Scopus y presentada en los apartados anteriores, a continuación, y utilizando el software VOSviewer, se muestra un análisis de redes bibliométricas de coincidencia de palabras clave de los artículos donde se agrupan familias de conceptos clave que se relacionan con las áreas temáticas identificadas en el apartado anterior. Después se realiza un estudio de las revistas más citadas que permite ver las fuentes más relevantes y de mayor impacto académico. Así como un estudio de los autores más relevantes dentro del campo de estudio sobre PISA. Finalmente, se analizan los documentos más citados sobre el estudio de dichas pruebas y que se relaciona con los hallazgos encontrados y estudiados en la primera parte de esta investigación. Hay que precisar que el software identifica para cada una de las redes una serie de ítems o elementos que guardan cierta relación entre sí. Estos elementos se ubican en un cluster. o grupo específico según su afinidad de contenido.

La primera red (figura 1) de análisis muestra la coocurrencia entre las palabras clave de todos los artículos que hacen uso del concepto de PISA en Scopus. La coocurrencia es importante para conocer las relaciones entre palabras clave de un área de investigación. La red en cuestión posee 880 elementos (ítems) divididos en 57 grupos diferentes de acuerdo con las similitudes que presentan entre sí. Es decir, coocurrencias o apariciones conjuntas de por lo menos dos palabras en un texto con el propósito de identificar la estructura conceptual y temática. El grupo número 1, que aparece de color rojo, contiene la mayor cantidad de elementos relacionados al concepto de PISA con un total de 38, donde se destacan palabras clave como género, estrategias de aprendizaje, diferencias individuales, cooperación internacional y validez. El segundo grupo, identificado de color verde, cuenta con 37 elementos y agrupa palabras clave como estudiantes, matemáticas, comprensión lectora y competencias científicas. Y de color azul oscuro se ubica el tercer grupo, donde se destacan palabras como adolescentes, educación comparada, sistema educativo, y educación privada y pública. En los demás grupos (identificados con diversos colores) se destacan palabras como nivel socioeconómico, evaluación comparativa y pruebas internacionales (cluster 4); actitudes, enseñanza, recursos escolares, rendimiento y competencias en TIC (cluster 5); desigualdad, competencias, alfabetismo y política (cluster 6), entre otras.

Esta figura agrupa familias de conceptos clave que se relacionan con las áreas temáticas identificadas en el apartado anterior de la presente investigación acerca de las tendencias de la literatura sobre las pruebas PISA. De este modo, las palabras clave del grupo uno sobre estrategias de aprendizaje, diferencias individuales, validez, etc., se relacionan con la temática que gira en torno a la metodología e implementación de las pruebas, su sistema de evaluación y las competencias evaluadas. Otro grupo que se destaca es el que trata el concepto de política educativa, que engloba palabras como gobernanza, globalización, estudiantes, nivel socioeconómico, etc., y que se acerca al área temática que habla sobre el papel y alcance que ha desempeñado PISA en ámbitos como la educación, las políticas públicas o educativas. Finalmente, un concepto que se sobresale y que aparece en la mayoría de los grupos, por lo general en conjugación con otra palabra, es el de comparación. De esta forma, se encuentran palabras como estudios comparados, educación comparada, comparación internacional, etc., que se acercan a las temáticas sobre estudios comparativos de los resultados de las pruebas entre países, con otras pruebas de educación internacional, entre otros.

La segunda red (figura 2) de análisis muestra las revistas más citadas del tema en cuestión, y cuenta con un total de 103 elementos en 15 grupos diferentes. El primer grupo (de color rojo) cuenta con un total de 14 elementos, donde se destacan revistas como Economics of Education Review, Education Economics, International Journal of Educational Development . Socio-Economic Planning Sciences, que se enfocan en estudios sobre política y finanzas de la educación, producción y adquisición de capital humano, así como el papel que desempeña la educación en el desarrollo. El segundo grupo (color verde) reúne revistas que abordan las pruebas PISA desde el campo de la psicología educativa, esto es, el desempeño, las competencias, las metodologías de la enseñanza, la evaluación, etc., de los estudiantes, en donde sobresalen fuentes como Scandinavian Journal of Educational Research, Educational and Psychological y Journal of Psychoeducational assessment. El tercer grupo (color azul oscuro) cuenta con un total de 10 elementos, en donde destacan revistas como Educational Research and Evaluation, Large-scale Assessments in Education y Educational Measurement: Issues and Practice, desde donde se abordan temas de evaluación a gran escala, prácticas pedagógicas y sistemas de evaluación.

Esta figura permite ver las fuentes más relevantes –que se identifican por su tamaño como se muestra en la red–, las cuales son: International Journal of Science and Mathematics Education, una revista que publica artículos sobre una variedad de temas y métodos de investigación tanto en ciencia como en educación matemática; International Journal of Science Education, que se especializa en publicaciones sobre educación científica desde la primera infancia hasta la universidad; The European Educational Research Journal, que publica números especiales que incluyen una reflexión sobre cómo el contexto europeo y otras dinámicas globales o regionales relacionadas dan forma a sus temas de investigación educativa; y Comparative Education, desde donde se destaca la importancia de las perspectivas comparadas en el análisis de los problemas educativos en contextos nacionales y globales.

La tercera red (figura 3) de análisis se ocupa de los autores más citados, posee 388 elementos distribuidos en 29 grupos. El primer grupo (color rojo) cuenta con 29 elementos, dentro de los cuales se destacan autores como Anderson, quien en colaboración con otros autores posee un total de tres artículos publicados en International Journal of Science and Mathematics Education, revista mencionada en la red anterior, así como Arikan y Cosgrove, que también realizan estudios sobre los resultados de las matemáticas y las ciencias de diversos países europeos y asiáticos. El grupo número 2 (color verde) tiene un total de 26 elementos, dentro de los cuales se encuentran autores como Bybee y McCrae, quienes están ubicados en la categoría de artículos más citados al momento de clasificar la literatura sobre las pruebas PISA en esta investigación. También se destacan autores como Kjærnsli y Lie, con trabajos como “Students' preference for science careers: International comparisons based on PISA 2006” y “PISA and scientific literacy: Similarities and differences between the nordic countries”, matizando nuevamente el interés por el análisis de la alfabetización científica. En el tercer grupo (azul oscuro) se ubican autores como Perry, McConney y Bray. Los dos primeros han desarrollado tres trabajos en conjunto, destacándose el de “Does the SES of the school matter? An examination of socioeconomic status and student achievement using PISA 2003”, que posee 171 citaciones. Por su parte, Bary cuenta con artículos que estudian el problema de la medición en la investigación sobre educación.

Esta red permite identificar a aquellos autores más relevantes dentro del campo de estudio sobre PISA de la OCDE, como es el caso de Jerrim, que se sitúa en primer lugar como el autor con mayor número de publicaciones, con un total de siete documentos y 103 citaciones. Se destacan artículos como .Why do East Asian children perform so well in PISA? An investigation of Western-born children of East Asian descent” y “The link between fiction and teenagers’ reading skills: International evidence from the OECD PISA study”. Sus artículos estudian el alcance de los resultados tomando referentes de pruebas de países como España, Canadá, Inglaterra, etc. Así como David Rutkowski, con seis artículos y 94 citaciones. Su texto “Measuring socioeconomic background in PISA: One size might not fit all”, escrito junto a Leslie Rutkowski, refleja un tema clave de investigación en este campo, a saber, las desigualdades relacionadas con el SES de los estudiantes, familias, escuelas, comunidades o sistemas y su correlación con las pruebas PISA.

Por último, la cuarta red (figura 4) se ocupa de los documentos más citados y cuenta con un total de 197 elementos divididos en 23 grupos diferentes. El primer grupo (color rojo) reúne 14 documentos, dentro de los cuales se destaca autores como Anderson, mencionado con anterioridad como uno de los autores más destacados, Liou, Basl y Karakolidis, con artículos que abordan a PISA desde un enfoque metodológico y de resultados en ciencias y matemáticas. El segundo grupo (color verde) cuenta con 14 elementos en total, en donde sobresale especialmente el trabajo de Hopfenbeck, mencionado en la introducción de la presente investigación, y que examina los artículos revisados ​​por pares en inglés relacionados con PISA desde el primer ciclo del programa en 2000 hasta el más reciente en 2015. Así como autores como Huang, Ishizaka y Güzeller con artículos que analizan la metodología e implementación de las pruebas y su sistema de evaluación. El tercer grupo (azul oscuro) tiene 13 elementos, y destaca autores como Addey, Gorur y Jerrim con estudios sobre la influencia de PISA en los sistemas y políticas educativas.

La figura anterior permite identificar los trabajos más citados sobre PISA (por su tamaño en la red), y que están acordes con los resultados planteados en el segundo apartado de este artículo, a saber: el trabajo de Grek (2009), “Governing by numbers: The PISA 'effect' in Europe”; Sellar y Lingard (2014), “The OECD and the expansion of PISA: New global modes of governance in education”; Perry y McConney (2010), “Does the SES of the school matter? An examination of socioeconomic status and student achievement using PISA 2003” y Bybee y McCrae (2011), “Scientific literacy and student attitudes: Perspectives from pisa 2006 science”.

CONCLUSIÓN

Este artículo presenta una sistematización y análisis de las tendencias de la literatura sobre las pruebas PISA de la OCDE, que determina la manera como se ha abordado y el impacto que ha tenido en la producción académica, específicamente en artículos de investigación. Se realizó una revisión de la literatura utilizando una de principales bases de datos bibliográficas de resúmenes y citas de artículos de revistas científicas como lo es Scopus, y que permite generar una gran cantidad de indicadores bibliométricos y citacionales.

En este sentido, en el primer apartado se clasificó la literatura existente en dos partes: por un lado, los diez artículos más citados en Scopus y, por el otro, los temas de mayor investigación y discusión sobre el objeto de estudio: las pruebas PISA. Sobre este último punto se encontró que las temáticas más relevantes son: PISA y la metodología, PISA y su impacto en la educación, PISA y el resultado de las pruebas, y una diversidad de análisis que abordan aspectos como la relación del estatus socioeconómico, las TIC y otros estudios que evalúan la educación en algún aspecto específico.

En el segundo apartado se desarrolló un análisis de redes bibliográficas para identificar las principales tendencias en la literatura sobre PISA utilizando el software VOSviewer. De este modo, se generaron cuatro tipos de redes: coincidencia de palabras clave de los artículos, donde se agrupó familias de conceptos clave que se relacionan con las áreas temáticas identificadas en la primera parte de la investigación; revistas más citadas, donde se identificaron las fuentes más relevantes de acuerdo con las similitudes temáticas; autores más citados, donde se identificaron aquellos autores más relevantes dentro del campo de estudio sobre PISA; y documentos más citados, donde se describen los trabajos más citados sobre el objeto de estudio y que están acordes con los resultados planteados en el segundo apartado de esta investigación.

Esta investigación ha permitido identificar que las tendencias a la literatura sobre las pruebas PISA de la OCDE giran entorno, principalmente, al papel e influencia que han tenido estas pruebas en el desarrollo, evaluación y puesta en marcha de políticas y sistemas educativos, seguido de un amplio estudio metodológico sobre las pruebas, su sistema de evaluación y las competencias evaluadas, así como de estudios que tratan aspectos relacionados con los resultados de PISA, bien sea desde las tres áreas que evalúa, estudios comparativos de los resultados entre países o estudios comparativos con otras pruebas de educación internacional, para finalizar con una variedad de temáticas de estudios como, por ejemplo, la relación del estatus socioeconómico y las pruebas PISA, su relación con las TIC, y análisis comparativos sobre PISA y otros estudios de educación de la OCDE.

Por otro lado, llama la atención que, de los artículos citados durante esta investigación, la mayoría giran en torno a países occidentales, específicamente EE. UU. y países europeos. Los estudios sobre países latinoamericanos son nulos, o por lo menos dentro de los de mayor impacto. Si bien Chile, México y Colombia hacen parte de la OCDE y participan en la prueba, también lo hacen Brasil, Perú, Uruguay, entre otros. Lo mismo ocurre con el análisis de redes bibliométricas donde se analizó las revistas de mayor impacto y se llevó a cabo un estudio sobre los autores y documentos más citados.

Este último punto permite afirmar que falta por desarrollar una mayor investigación sobre la incidencia, alcances, resultados, entre otros aspectos, de las pruebas PISA en los países latinoamericanos, pues resulta relevante conocer el impacto y desarrollo que ha tenido este tipo de prueba internacional en los sistemas educativos de una región con unas características diversas a la de los países de mayor estudio.

REFERENCIAS BIBLIOGRÁFICAS

Addey, C. (2017). Golden relics & historical standards: How the OECD is expanding global education governance through PISA for Development. Critical Studies in Education, 58(3), 311-325. https://doi.org/10.1080/17508487.2017.1352006

Agasisti, T., Gil-Izquierdo, M., y Han, S. W. (2020). ICT Use at home for school-related tasks: What is the effect on a student’s achievement? Empirical evidence from OECD PISA data. Education Economics, 28(6), 601-620. https://doi.org/10.1080/09645292.2020.1822787

Anderson, J. O., Lin, H.-S., Treagust, D. F., Ross, S. P., y Yore, L. D. (2007). Using large-scale assessment datasets for research in science and mathematics education: Programme for International Student Assessment (PISA). International Journal of Science and Mathematics Education, 5(4), 591-614. https://doi.org/10.1007/s10763-007-9090-y

Asil, M., y Gelbal, S. (2012). Cross-cultural equivalence of the PISA student questionnaire. Egitim ve Bilim, 37(166), 236-249.

Auld, E., Rappleye, J., y Morris, P. (2019). PISA for Development: How the OECD and World Bank shaped education governance post-2015. Comparative Education, 55(2), 197-219. Scopus. https://doi.org/10.1080/03050068.2018.1538635

Baird, J.-A., Johnson, S., Hopfenbeck, T. N., Isaacs, T., Sprague, T., Stobart, G., y Yu, G. (2016). On the supranational spell of PISA in policy. Educational Research, 58(2), 121-138. https://doi.org/10.1080/00131881.2016.1165410

Berliner, D. (2018). The implications of understanding that Pisa is simply another standardized achievement test. En Education by the Numbers and the Making of Society: The Expertise of International Assessments (pp. 127-146). https://doi.org/10.4324/9781315100432

Bieber, T., y Martens, K. (2011). The OECD PISA Study as a Soft Power in Education? Lessons from Switzerland and the US. European Journal of Education, 46(1), 101-116. Scopus. https://doi.org/10.1111/j.1465-3435.2010.01462.x

Bray, M., y Kobakhidze, M. (2014). Measurement issues in research on shadow education: Challenges and pitfalls encountered in TIMSS and PISA. Comparative Education Review, 58(4), 590-620. https://doi.org/10.1086/677907

Brozo, W., Shiel, G., y Topping, K. (2007). Engagement in reading: Lessons learned from three PISA countries. Journal of Adolescent and Adult Literacy, 51(4), 304-315. https://doi.org/10.1598/JAAL.51.4.2

Bybee, R., y McCrae, B. (2011a). Scientific literacy and student attitudes: Perspectives from PISA 2006 science. International Journal of Science Education, 33(1), 7-26. https://doi.org/10.1080/09500693.2010.518644

Bybee, R., y McCrae, B. (2011b). Scientific literacy and student attitudes: Perspectives from PISA 2006 science. International Journal of Science Education, 33(1), 7-26. https://doi.org/10.1080/09500693.2010.518644

Carvalho, L., y Costa, E. (2015). Seeing education with one’s own eyes and through PISA lenses: Considerations of the reception of PISA in European countries. Discourse, 36(5), 638-646. https://doi.org/10.1080/01596306.2013.871449

Çetin, B. (2010). Cross-cultural structural parameter invariance on PISA 2006 student questionnaires. Egitim Arastirmalari - Eurasian Journal of Educational Research, 38, 71-89.

Chi, S., Liu, X., Wang, Z., y Won Han, S. (2018). Moderation of the effects of scientific inquiry activities on low SES students’ PISA 2015 science achievement by school teacher support and disciplinary climate in science classroom across gender. International Journal of Science Education, 40(11), 1284-1304. https://doi.org/10.1080/09500693.2018.1476742

Correa-Betancour, M. (2016). El PISA y su impacto en la política educativa en los últimos dieciséis años. Pensamiento Educativo. Revista de investigación Educacional Latinoamericana, 53(2), 12.

Debeer, D., Buchholz, J., Hartig, J., y Janssen, R. (2014). Student, School, and Country Differences in Sustained Test-Taking Effort in the 2009 PISA Reading Assessment. Journal of Educational and Behavioral Statistics, 39(6), 502-523. https://doi.org/10.3102/1076998614558485

Díaz, J. (2005). TIMSS Y PISA. Dos proyectos internacionales de evaluación del aprendizaje escolar en ciencias. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 2(3), 280-301.

Dohn, N. (2007). Knowledge and skills for PISA - Assessing the assessment. Journal of Philosophy of Education, 41(1), 1-16. https://doi.org/10.1111/j.1467-9752.2007.00542.x

Drechsel, B., Carstensen, C., y Prenzel, M. (2011). The role of content and context in pisa interest scales: A study of the embedded interest items in the pisa 2006 science assessment. International Journal of Science Education, 33(1), 73-95. https://doi.org/10.1080/09500693.2010.518646

El Masri, Y., Baird, J., y Graesser, A. (2016). Language effects in international testing: The case of PISA 2006 science items. Assessment in Education: Principles, Policy and Practice, 23(4), 427-455. https://doi.org/10.1080/0969594X.2016.1218323

Feniger, Y., y Lefstein, A. (2014). How not to reason with PISA data: An ironic investigation. Journal of Education Policy, 29(6), 845-855. https://doi.org/10.1080/02680939.2014.892156

Fernandez-Cano, A. (2016). A methodological critique of the PISA evaluations. RELIEVE - Revista Electronica de Investigacion y Evaluacion Educativa, 22(1). https://doi.org/10.7203/relieve.22.1.8806

Galvez, C. (2018). Co-word analysis applied to highly cited papers in Library and Information Science (2007-2017). Transinformacao, 30(3), 277-286. https://doi.org/10.1590/2318-08892018000300001

Geidel, A. (2016). Pisa en la prensa española y su influencia sobre las políticas educativas. Opción, 32(8), 22.

Gilleece, L., Cosgrove, J., y Sofroniou, N. (2010). Equity in mathematics and science outcomes: Characteristics associated with high and low achievement on PISA 2006 in Ireland. International Journal of Science and Mathematics Education, 8(3), 475-496. Scopus. https://doi.org/10.1007/s10763-010-9199-2

Goldstein, H. (2004). International comparisons of student attainment: Some issues arising from the PISA study. Assessment in Education: Principles, Policy and Practice, 11(3), 319-330. https://doi.org/10.1080/0969594042000304618

González-Such, J., Sancho-Álvarez, C., y Sánchez-Delgado, P. (2016). Background questionnaires of PISA: A study of the assessment indicators. RELIEVE - Revista Electronica de Investigacion y Evaluacion Educativa, 22(1). https://doi.org/10.7203/relieve.22.1.8274

Gorur, R. (2011). ANT on the PISA Trail: Following the statistical pursuit of certainty. Educational Philosophy and Theory, 43(SUPPL. 1), 76-93. https://doi.org/10.1111/j.1469-5812.2009.00612.x

Gorur, R. (2016). Seeing like PISA: A cautionary tale about the performativity of international assessments. European Educational Research Journal, 15(5), 598-616. https://doi.org/10.1177/1474904116658299

Grek, S. (2009). Governing by numbers: The PISA «effect» in Europe. Journal of Education Policy, 24(1), 23-37. https://doi.org/10.1080/02680930802412669

Grek, S. (2010). International organisations and the shared construction of policy «problems»: Problematisation and change in education governance in Europe. European Educational Research Journal, 9(3), 396-406. https://doi.org/10.2304/eerj.2010.9.3.396

Grisay, A. (2003). Translation procedures in OECD/PISA 2000 international assessment. Language Testing, 20(2), 225-240. https://doi.org/10.1191/0265532203lt254oa

Grisay, A., De Jong, J. H. A. L., Gebhardt, E., Berezner, A., y Halleux-Monseur, B. (2007). Translation equivalence across PISA countries. Journal of Applied Measurement, 8(3), 249-266.

Gumus, S., y Atalmis, E. (2011). Exploring the relationship between purpose of computer usage and reading skills of turkish students: Evidence from PISA 2006. Turkish Online Journal of Educational Technology, 10(3), 129-140.

Hatzinikita, V., Dimopoulos, K., y Christidou, V. (2008). PISA test items and school textbooks related to science: A textual comparison. Science Education, 92(4), 664-687. https://doi.org/10.1002/sce.20256

Hopfenbeck, T., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan, J., y Baird, J. (2018a). Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research, 62(3), 333-353. https://doi.org/10.1080/00313831.2016.1258726

Hopfenbeck, T., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan, J., y Baird, J. (2018b). Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research, 62(3), 333-353. https://doi.org/10.1080/00313831.2016.1258726

Hopmann, S., Brinek, G., y Retzl, M. (Eds.). (2007). PISA According to PISA – Does PISA Keep What It (Lit Verlag). Lit Verlag.

Huang, X., Wilson, M., y Wang, L. (2016). Exploring plausible causes of differential item functioning in the PISA science assessment: Language, curriculum or culture. Educational Psychology, 36(2), 378-390. https://doi.org/10.1080/01443410.2014.946890

Jeffries, D., Curtis, D., y Conner, L. (2020). Student Factors Influencing STEM Subject Choice in Year 12: A Structural Equation Model Using PISA/LSAY Data. International Journal of Science and Mathematics Education, 18(3), 441-461. https://doi.org/10.1007/s10763-019-09972-5

Jerrim, J., Lopez-Agudo, L., Marcenaro-Gutierrez, O., y Shure, N. (2017). What happens when econometrics and psychometrics collide? An example using the PISA data. Economics of Education Review, 61, 51-58. https://doi.org/10.1016/j.econedurev.2017.09.007

Jiang, F., y McComas, W. (2015). The Effects of Inquiry Teaching on Student Science Achievement and Attitudes: Evidence from Propensity Score Analysis of PISA Data. International Journal of Science Education, 37(3), 554-576. https://doi.org/10.1080/09500693.2014.1000426

Joaquim, P. (2011, enero 13). Qué explica el éxito mediático del Informe PISA. Escuela. http://www.ub.edu/histodidactica/images/documentos/pdf/exito_mediatico_informe_pisa.pdf

Kanes, C., Morgan, C., y Tsatsaroni, A. (2014). The PISA mathematics regime: Knowledge structures and practices of the self. Educational Studies in Mathematics, 87(2), 145-165. https://doi.org/10.1007/s10649-014-9542-6

Kankaraš, M., y Moors, G. (2014). Analysis of Cross-Cultural Comparability of PISA 2009 Scores. Journal of Cross-Cultural Psychology, 45(3), 381-399. https://doi.org/10.1177/0022022113511297

Karakolidis, A., Pitsia, V., y Emvalotis, A. (2016). Examining students’ achievement in mathematics: A multilevel analysis of the Programme for International Student Assessment (PISA) 2012 data for Greece. International Journal of Educational Research, 79, 106-115. https://doi.org/10.1016/j.ijer.2016.05.013

Kjærnsli, M., y Lie, S. (2011). Students’ preference for science careers: International comparisons based on pisa 2006. International Journal of Science Education, 33(1), 121-144. https://doi.org/10.1080/09500693.2010.518642

Knipprath, H. (2010). What PISA tells us about the quality and inequality of japanese education in mathematics and science. International Journal of Science and Mathematics Education, 8(3), 389-408. https://doi.org/10.1007/s10763-010-9196-5

Kubiatko, M., y Vlckova, K. (2010a). The relationship between ICT use and science knowledge for czech students: A secondary analysis of pisa 2006. International Journal of Science and Mathematics Education, 8(3), 523-543. https://doi.org/10.1007/s10763-010-9195-6

Kubiatko, M., y Vlckova, K. (2010b). The relationship between ICT use and science knowledge for czech students: A secondary analysis of PISA 2006. International Journal of Science and Mathematics Education, 8(3), 523-543. https://doi.org/10.1007/s10763-010-9195-6

Lee, Y.-H., y Wu, J.-Y. (2012). The effect of individual differences in the inner and outer states of ICT on engagement in online reading activities and PISA 2009 reading literacy: Exploring the relationship between the old and new reading literacy. Learning and Individual Differences, 22(3), 336-342. https://doi.org/10.1016/j.lindif.2012.01.007

Lewis, S. (2017). Governing schooling through ‘what works’: The OECD’s PISA for Schools. Journal of Education Policy, 32(3), 281-302. https://doi.org/10.1080/02680939.2016.1252855

Lewis, S., Sellar, S., y Lingard, B. (2016). PISA for schools: Topological rationality and new spaces of the OECD’s global educational governance. Comparative Education Review, 60(1), 27-57. https://doi.org/10.1086/684458

Li, H. (2016). How is formative assessment related to students’ reading achievement? Findings from PISA 2009. Assessment in Education: Principles, Policy and Practice, 23(4), 473-494. https://doi.org/10.1080/0969594X.2016.1139543

Li, H., Lei, P., y Pace, C. (2013). Reading subskill differences between students in Shanghai-China and the US: Evidence from PISA 2009. Educational Research and Evaluation, 19(6), 490-509. https://doi.org/10.1080/13803611.2013.803439

Lindblad, S., Pettersson, D., y Popkewitz, T. (2017). INTERNATIONAL COMPARISONS OF SCHOOL RESULTS: A Systematic Review of Research on Large Scale Assessments in Education.https://doi.org/10.13140/RG.2.2.23176.01286

Linnakyla, P., y Malin, A. (2008). Finnish students’ school engagement profiles in the light of PISA 2003. Scandinavian Journal of Educational Research, 52(6), 583-602. https://doi.org/10.1080/00313830802497174

Luzón, A., y Torres, M. (2013). PISA in the scientific literature and the international daily newspapers. Profesorado, 17(2), 193-224.

Mangez, E., y Hilgers, M. (2012). The field of knowledge and the policy field in education: PISA and the production of knowledge for policy. European Educational Research Journal, 11(2), 189-205. https://doi.org/10.2304/eerj.2012.11.2.189

Márquez, A. (2017). A 15 años de PISA: Resultados y polémicas. Perfiles educativos, 39(156), 3-15.

Martens, K., Balzer, C., Sackmann, R., y Wexmann, A. (2004). Comparing governance of international organisations: The EU, the OECD and educational policy. En TranState Working Papers (N.. 7; TranState Working Papers). University of Bremen. https://ideas.repec.org/p/zbw/sfb597/7.html

Martin, A., Liem, G., Mok, M., y Xu, J. (2012). Problem solving and immigrant student mathematics and science achievement: Multination findings from the programme for international student assessment (PISA). Journal of Educational Psychology, 104(4), 1054-1073. https://doi.org/10.1037/a0029152

Martins, L., y Veiga, P. (2010). Do inequalities in parents’ education play an important role in PISA students’ mathematics achievement test score disparities? Economics of Education Review, 29(6), 1016-1033. https://doi.org/10.1016/j.econedurev.2010.05.001

Mayorga, H. G., Vidal, J., y Vieira, M. (2017). El impacto del Informe PISA en la sociedad española: El caso de la prensa escrita. RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, 23(1), Article 1. https://doi.org/10.7203/relieve.23.1.9015

Meng, L., Qiu, C., y Boyd-Wilson, B. (2019). Measurement invariance of the ICT engagement construct and its association with students’ performance in China and Germany: Evidence from PISA 2015 data. British Journal of Educational Technology, 50(6), 3233-3251. https://doi.org/10.1111/bjet.12729

Merry, J. (2013). Tracing the U.S. Deficit in PISA Reading Skills to Early Childhood: Evidence from the United States and Canada. Sociology of Education, 86(3), 234-252. https://doi.org/10.1177/0038040712472913

Morgan, C., y Shahjahan, R. A. (2014). The legitimation of OECD’s global educational governance: Examining PISA and AHELO test production. Comparative Education, 50(2), 192-205. https://doi.org/10.1080/03050068.2013.834559

Neumann, K., Fischer, H. E., y Kauertz, A. (2010). From pisa to educational standards: The impact of large-scale assessments on science education in Germany. International Journal of Science and Mathematics Education, 8(3), 545-563. https://doi.org/10.1007/s10763-010-9206-7

OCDE. (2002). Informe PISA 2000. Conocimientos y aptitudes para la vida. Santillana. http://eduteka.icesi.edu.co/pdfdir/Pisa2000_Informe.pdf

OCDE. (2018a). Pisa for Schools. http://www.pisaparacentroseducativos.es/ppce.html

OCDE. (2018b). PISA para el desarrollo. Resultados en Foco. OCDE. https://www.oecd.org/pisa/pisa-for-development/PISA_D_Resultados_en_Foco.pdf

OCDE. (2019). PISA 2018 Results. Combined executive summaries. (OCDE). https://www.oecd.org/pisa/Combined_Executive_Summaries_PISA_2018.pdf

OCDE. (2020a). Acerca de la OCDE - OECD. https://www.oecd.org/acerca/

OCDE. (2020b). Early Learning and Child Well-being: A Study of Five-year Olds in England, Estonia, and the United States. OCDE. https://doi.org/10.1787/3990407f-en

OCDE. (2020c). PISA. https://www.oecd.org/pisa/pisaenespaol.htm

Pereira, D., Perales, M., y Bakieva, M. (2016). Trends analysis in the investigations realised from the data of the PISA Project. RELIEVE - Revista Electronica de Investigacion y Evaluacion Educativa, 22(1). https://doi.org/10.7203/relieve.22.1.8248

Perelman, S., y Santin, D. (2011). Measuring educational efficiency at student level with parametric stochastic distance functions: An application to Spanish PISA results. Education Economics, 19(1), 29-49. https://doi.org/10.1080/09645290802470475

Perry, L., y McConney, A. (2010). Does the SES of the school matter? An examination of socioeconomic status and student achievement using PISA 2003. Teachers College Record, 112(4), 1137-1162.

Petko, D., Cantieni, A., y Prasse, D. (2017). Perceived Quality of Educational Technology Matters: A Secondary Analysis of Students ICT Use, ICT-Related Attitudes, and PISA 2012 Test Scores. Journal of Educational Computing Research, 54(8), 1070-1091. https://doi.org/10.1177/0735633116649373

Pongratz, L. (2006). Voluntary self‐control: Education reform as a governmental strategy. Educational Philosophy and Theory, 38(4), 471-482. https://doi.org/10.1111/j.1469-5812.2006.00205.x

Rajchert, J., Zułtak, T., y Smulczyk, M. (2014). Predicting reading literacy and its improvement in the Polish national extension of the PISA study: The role of intelligence, trait- and state-anxiety, socio-economic status and school-type. Learning and Individual Differences, 33, 1-11. https://doi.org/10.1016/j.lindif.2014.04.003

Rautalin, M., Alasuutari, P., y Vento, E. (2019). Globalisation of education policies: Does PISA have an effect? Journal of Education Policy, 34(4), 500-522. https://doi.org/10.1080/02680939.2018.1462890

Rindermann, H., y Baumeister, A. (2015). Validating the Interpretations of PISA and TIMSS Tasks: A Rating Study. International Journal of Testing, 15(1), 1-22. https://doi.org/10.1080/15305058.2014.966911

Rinne, R. (2008). The Growing Supranational Impacts of the OECD and the EU on National Educational Policies, and the Case of Finland. Policy Futures in Education, 6(6), 665-680. https://doi.org/10.2304/pfie.2008.6.6.665

Rutkowski, D., y Rutkowski, L. (2013). Measuring socioeconomic background in PISA: One size might not fit all. Research in Comparative and International Education, 8(3), 259-278. https://doi.org/10.2304/rcie.2013.8.3.259

Rutkowski, L., y Rutkowski, D. (2016). A Call for a More Measured Approach to Reporting and Interpreting PISA Results. Educational Researcher, 45(4), 252-257. https://doi.org/10.3102/0013189X16649961

Schleicher, A. (2007). Can competencies assessed by PISA be considered the fundamental school knowledge 15-year-olds should possess? Journal of Educational Change, 8(4), 349-357. https://doi.org/10.1007/s10833-007-9042-x

Schuelka, M. J. (2013a). Excluding students with disabilities from the culture of achievement: The case of the TIMSS, PIRLS, and PISA. Journal of Education Policy, 28(2), 216-230. https://doi.org/10.1080/02680939.2012.708789

Schuelka, M. J. (2013b). Excluding students with disabilities from the culture of achievement: The case of the TIMSS, PIRLS, and PISA. Journal of Education Policy, 28(2), 216-230. https://doi.org/10.1080/02680939.2012.708789

Sellar, S., y Lingard, B. (2014). The OECD and the expansion of PISA: New global modes of governance in education. British Educational Research Journal, 40(6), 917-936. https://doi.org/10.1002/berj.3120

Sjøberg, S. (2015). PISA and global educational governance—A critique of the project, its uses and implications. Eurasia Journal of Mathematics, Science and Technology Education, 11(1), 111-127. https://doi.org/10.12973/eurasia.2015.1310a

Sjøberg, S. (2017). Pisa testing: A global educational race? Europhysics News, 48(4), 17-20. https://doi.org/10.1051/epn/2017402

Solano-Flores, G., Contreras-Niño, L., y Backhoff-Escudero, E. (2006). Translation and adaptation of tests: Lessons learned and recommendations for countries participating in timss, pisa and other international comparisons. Revista Electronica de Investigacion Educativa, 8(2). https://www.scopus.com/inward/record.uri?eid=2-s2.0-84892150148&partnerID=40&md5=6272d9c113566c449dccf8b6a0c52292

Spiezia, V. (2010). Does computer use increase educational achievements? Student-level evidence from PISA. OECD Journal: Economic Studies, 127-148.

Steffens, K. (2014). ICT use and achievement in three European Countries: What does PISA tell us? European Educational Research Journal, 13(5), 553-562. https://doi.org/10.2304/eerj.2014.13.5.553

Sullivan, K., McConney, A., y Perry, L. (2018). A Comparison of Rural Educational Disadvantage in Australia, Canada, and New Zealand Using OECD’s PISA. SAGE Open, 8(4). https://doi.org/10.1177/2158244018805791

Sun, L., Bradley, K., y Akers, K. (2012). A Multilevel Modelling Approach to Investigating Factors Impacting Science Achievement for Secondary School Students: PISA Hong Kong Sample. International Journal of Science Education, 34(14), 2107-2125. https://doi.org/10.1080/09500693.2012.708063

Torppa, M., Eklund, K., Sulkunen, S., Niemi, P., y Ahonen, T. (2018). Why do boys and girls perform differently on PISA Reading in Finland? The effects of reading fluency, achievement behaviour, leisure reading and homework activity. Journal of Research in Reading, 41(1), 122-139. https://doi.org/10.1111/1467-9817.12103

Vázquez-Cano, E., Gómez-Galán, J., Infante-Moro, A., y López-Meneses, E. (2020a). Incidence of a non-sustainability use of technology on students’ reading performance in Pisa. Sustainability (Switzerland), 12(2). https://doi.org/10.3390/su12020749

Vázquez-Cano, E., Gómez-Galán, J., Infante-Moro, A., & López-Meneses, E. (2020b). Incidence of a non-sustainability use of technology on students’ reading performance in Pisa. Sustainability (Switzerland), 12(2). https://doi.org/10.3390/su12020749

Waldow, F., Takayama, K., y Sung, Y.-K. (2014). Rethinking the pattern of external policy referencing: Media discourses over the «Asian Tigers» PISA success in Australia, Germany and South Korea. Comparative Education, 50(3), 302-321. https://doi.org/10.1080/03050068.2013.860704

Wu, M. (2009). A comparison of PISA and TIMSS 2003 achievement results in mathematics. Prospects, 39(1), 33-46. https://doi.org/10.1007/s11125-009-9109-y

Xu, D., y Dronkers, J. (2016). Migrant Children in Shanghai: A Research Note on the PISA-Shanghai Controversy. Chinese Sociological Review, 48(3), 271-295. https://doi.org/10.1080/21620555.2016.1165605

Zhang, D., y Liu, L. (2016). How does ICT use influence students’ achievements in math and science over time? Evidence from PISA 2000 to 2012. Eurasia Journal of Mathematics, Science and Technology Education, 12(9), 2431-2449. https://doi.org/10.12973/eurasia.2016.1297a

Zhao, Y. (2020). Two decades of havoc: A synthesis of criticism against PISA. Journal of Educational Change, 21(2), 245-266. https://doi.org/10.1007/s10833-019-09367-x

Zhu, J., y Liu, W. (2020). A tale of two databases: The use of Web of Science and Scopus in academic papers. Scientometrics, 123(1), 321-335. https://doi.org/10.1007/s11192-020-03387-8