HTML

ePub

PDF

INTRODUÇÃO

O Programme for Internacional Student Assessment (PISA) é um estudo estatístico que vem sendo realizado há 19 anos, pela Organização para a Cooperação e Desenvolvimento Económico (OCDE). É considerado um dos mais importantes e ambiciosos estudos, em larga escala, no campo da educação (Prenzel, Kobarg, Schöps & Rönnebeck, 2013). Abrangeu, na edição de 2012, sessenta e cinco países e economias. A primeira edição contou com 54 países, sendo realizada em dois momentos, 2000 (43 países) e 2002 (11 países) (OECD, 2003a, 2003b). As edições posterio- res realizaram-se em 2003, 2006, 2009, 2012, 2015 e 2018.

O PISA “(...) visa avaliar a capacidade que os alunos de 15 anos de diferentes países/economias têm para mobilizar conhecimentos nos domínios da Matemática, da Leitura e das Ciências e responder a situações comuns da vida quotidiana” (Projavi, Ferreira & Lourenço, 2013, p. 1). O seu objetivo não é conhecer se os estudantes apreenderam os conteúdos ministrados nas escolas, mas sim, se os são capazes de mobilizar para resolver situações do dia a dia (OECD, 2014).

Na presente revisão integrativa focar-nos-emos sobre o conceito de Literacia Matemática, o qual tem evoluído ao longo das várias edições do PISA (Stacey & Turner, 2015). Atualmente, Literacia Matemática é definida como:

A capacidade que os indivíduos têm para formularem, aplicarem e interpretarem a matemática em contextos variados. Implica raciocinar matematicamente e usar conceitos matemáticos, processos, factos e ferramentas para descrever, explicar e prever fenómenos. Contribui para que os indivíduos reconheçam o papel que a matemática desempenha no mundo e para que cidadãos empenhados e reflexivos possam fazer julgamentos bem fundamentados (Projavi et al., 2013, p. 1).

Os países alvo deste estudo são Portugal, Singapura, Holanda, Espanha e Brasil. A escolha de Portugal deveu-se ao facto de ser o nosso país de referência. Os restantes países foram selecionados por estarem acima (Singapura e Holanda) e abaixo (Espanha e Brasil) da média da OCDE, no PISA 2012. Deste modo, o nosso interesse foi fazer uma análise dos fatores influenciadores dos resultados de Literacia Matemática de estudantes, a partir desses diferentes países.

No contexto deste estudo, importa referir, sumariamente, alguns dos resultados obtidos, em Literacia Matemática, pelos países considerados, tomando como parâmetro os resultados do PISA 2012, ano em que tal como em 2003, este domínio foi o principal a ser avaliado. Salientamos que o PISA apresenta uma escala em que a média é 500 pontos e o desvio padrão 100; esta escala mantém-se desde que foi pela primeira vez aplicada em 2003 (OECD, 2014).

Portugal obteve 487 pontos no PISA 2012 (OECD, 2014, p. 47), situando-se, pela primeira vez, na média da OCDE, enquanto que em 2003 tinha obtido 466 pontos (OECD, 2004, p. 92), estando abaixo da média. Portugal evoluiu positivamente no período de 2000 a 2012, conforme atesta o relatório PISA 2012 (Projavi et al., 2013).

Singapura ocupou o topo dos países com melhores classificações no PISA 2012, ficando em segundo lugar, com uma pontuação em Literacia Matemática de 573 pontos; mais onze pontos do que em 2009, primeiro ano em que participou neste Programa de Avaliação e em que também obteve o segundo lugar neste domínio (OECD, 2010, p. 134, 2014, p. 19). A Holanda situou-se em décimo lugar no PISA 2012, com uma pontuação de 523 em Literacia Matemática, com uma descida de 15 pontos relativamente a 2003, ano em que ocupou o quarto lugar, continuando acima da média da OCDE (2004, p. 90, 2014, p. 19).

A Espanha quer em 2003 quer em 2012 apresentou praticamente a mesma pontuação. Em 2012 obteve 484 pontos, menos um que em 2003 (OECD, 2004, p. 90, 2014, p. 19), ficando em ambos os anos ligeiramente abaixo da média da OCDE. O Brasil apresentou uma pontuação no PISA 2012 de 391, mais 35 pontos comparado com os resultados do PISA 2003 (OECD, 2004, p. 90, 2014, p. 19). Este país apresentou uma das maiores subidas, no que à Literacia Matemática diz respeito, quando comparamos os resultados dos PISA de 2003 e 2012. Este facto é destacado no Relatório Nacional PISA 2012 (OECD & INEP, 2014).

Dado que o PISA é ainda muito recente, há uma lacuna significativa de estudos, em especial no âmbito de uma revisão integrativa da literatura científica, que nos indiquem os fatores influencia- dores do desempenho de estudantes nos países alvo desta investigação, como atesta a literatura (Bakan Kalaycıoğlu, 2015).

OBJETIVO

Este estudo tem como principal objetivo fazer uma revisão integrativa de modo a conhecer o estado da arte sobre os fatores que influenciam o desempenho de estudantes portugueses, singapurenses, holandeses, espanhóis e brasileiros em Literacia Matemática no PISA, tendo como referencial os resultados das edições de 2000 a 2012. Os resultados ajudar-nos-ão a planear futuros estudos, de acordo com os fatores emergentes da literatura revista.

METODOLOGIA

Este estudo teve como método a revisão integrativa, proposto por Whittemore e Knafl (2005). Dado que temos uma variedade de fontes científicas, consideramos ser este o método mais adequado para alcançar o objetivo a que nos propusemos. Investigando a literatura de uma certa temática, este método facilita-nos o conhecimento do seu estado atual (Whittemore & Knafl, 2005). “O método da revisão integrativa é uma abordagem que permite a inclusão de diversas metodologias (e.g. pesquisa experimental e não experimental) e tem potencial para oferecer uma grande contribuição na prática baseada em evidências” (Whittemore & Knafl, 2005, p. 547).

Para garantir o rigor metodológico deste estudo, as autoras acima propuseram quatro etapas: identificação do problema (realizado previamente), procura da literatura, avaliação dos dados e análise dos dados, apresentadas a seguir.

PROCURA DE LITERATURA

A procura de literatura foi realizada recorrendo às bases de dados EBESCO, ELSEVIER, ERIC, INEP, RCAAP, Sage, Scielo, ScienceDirect, Scopus, SpringerLink, e Web of Science. Esta procura decorreu durante o período de setembro a dezembro de 2015 e foi atualizada em abril de 2016. Foram incluídas pesquisas publicadas em português, inglês, francês e espanhol, sem limites de ano de publicação, usando como palavra-chave “Programme for Internacional Student Assessment”. As pesquisas científicas usando métodos quantitativos, qualitativos e mistos também foram incluídas.

De modo a garantir o rigor científico, consideramos elegíveis para inclusão nesta revisão integrativa os estudos que usaram fontes de dados primários acerca dos fatores influenciadores dos resultados de estudantes portugueses, singapurenses, holandeses, espanhóis e brasileiros em Literacia Matemática em, pelo menos, uma edição do PISA. Assim, não incluímos as pesquisas cujo foco não era objetivamente o tema em estudo, a literatura cinzenta (estudos não publicados ou quando publicados que não foram revistos por pares), assim como os artigos de caráter reflexivo, isto é, artigos que simplesmente se limitam a mostrar a opinião do(s) autor(es) sem fundamen- tação científica assente nos dados.

SELEÇÃO DOS DADOS

Começámos por analisar os resumos que atendiam aos critérios de inclusão. Opção que se revelou como uma limitação do presente estudo, pois os resumos nem sempre retratam o que, de facto, foi investigado. Foram selecionados 428 documentos, tendo sido rejeitados 236, porque não focavam os fatores influenciadores dos resultados de estudantes no PISA nos países selecionados, ou porque não consideravam a Literacia Matemática. Os artigos foram, posteriormente, obtidos na íntegra e analisados. Dos 192 artigos restantes, foram rejeitados 173, por não satisfazerem o objetivo do estudo e por não serem de natureza investigativa, mas sim reflexiva, ou seja, artigos que refletiam a opinião dos autores e não baseados nos dados de uma possível e desejável investigação. Deste processo seletivo, resultaram 19 estudos que abordaram os fatores influenciadores dos resultados em Literacia Matemática, dos cinco países considerados, em pelo menos uma edição do PISA. Estes estudos foram organizados em três subconjuntos: (i) Portugal; (ii) Singapura e Holanda; e (iii) Espanha e Brasil. Esta organização reflete a opção, já acima referida, aquando da escolha dos cinco países alvo do presente estudo.

ANÁLISE DOS DADOS

A análise dos dados incluiu quatro etapas: redução, exposição, comparação, e conclusão e verificação, conforme preconizadas no método de Whittemore & Knafl (2005). Na redução, primeira etapa, começámos por examinar cuidadosamente as fontes primárias, e constituímos três subconjuntos, atendendo ao tipo de evidências (estudos quantitativos, qualitativos e mistos), os quais foram devidamente analisados. Baseando-nos em todas as fontes primárias, fomos retirando destas os dados relevantes de cada subconjunto. Estes dados possibilitaram-nos construir uma tabela com as seguintes entradas: autor(es), ano e país; objetivo do estudo; tipo de estudo (quantitativo, qualitativo e misto); descrição da amostra; resultados/fatores; e conclusões.

Na exposição, segunda etapa, tivemos como ponto de partida para a interpretação dos dados uma matriz, na qual colocámos os dados, o que nos permitiu identificar padrões e relações entre as fontes primárias. Quanto à comparação, o processo desenvolveu-se de forma interativa, examinando os dados das fontes primárias, o que possibilitou constituir grupos de fatores influenciadores do desempenho de estudantes por cada país envolvido no estudo. De seguida, realizámos uma análise semelhante entre os cinco países.

Por fim, na conclusão e verificação, última etapa, procurámos um nível mais elevado de abstração através da análise interpretativa dos padrões e relações encontrados. Salientamos que as categorias (fatores) e subcategorias (subfatores) emergiram da análise indutiva dos dados, não se tendo usado uma matriz conceptual previamente elaborada.

RESULTADOS

Descrição dos dados

Esta revisão integrativa incluiu dezanove estudos, sendo onze quantitativos (Aguiar & Ortigão, 2012; Bakan Kalaycıoğlu, 2015; Conboy, 2011; Cordero-Ferrera, Crespo-Cebada, & Santín-González, 2010; Cornelisz, 2013; Crespo-Cebada, Pedraja-Chaparro, & Santín-González, 2013; Del Porto & Ferreira, 2007; García-Pérez, Hidalgo-Hidalgo, & Robles-Zurita, 2014; Güzel & Berberoğlu, 2005; Klein, 2011; Pereira, 2010), seis mistos (Crahay & Baye, 2013; Ferrer, Valiente, & Castel, 2010; Jerrim & Vignoles, 2016; Silva, 2004; Soares & Nascimento, 2012; Thien & Ong, 2015), e dois qualitativos (Afonso & Costa, 2009; Fernandes, 2008). O maior número de artigos encontrados na literatura, segundo os critérios de inclusão, foi relativo aos países com pontuação abaixo da média da OCDE, Espanha e Brasil, com dez artigos, seis e quatro, respetivamente. O contrário foi detetado nos países com pontuação acima da média da OCDE, com quatro artigos, dois singapurenses e dois holandeses. O número de artigos de Portugal ficou entre estes dois grupos, com cinco artigos.

Fatores influenciadores do desempenho de estudantes no PISA

A leitura e análise crítica dos artigos selecionados permitiu-nos destacar, de forma indutiva, cinco fatores influenciadores do desempenho de estudantes no PISA: (i) sistema educativo; (ii) contexto socioeconómico familiar; (iii) características das escolas; (iv) características do estudante;

(v) uso das tecnologias da informação e comunicação (TIC), os quais são apresentados abaixo.

(i) sistema educativo

Este fator destacou-se dos demais, tendo sido abordado em 15 estudos, cinco portugueses, quatro espanhóis, quatro brasileiros e dois singapurenses. Neste fator emergiram sete subfatores: retenção escolar, equidade/desigualdade educacional, políticas educativas, organização curricular, abandono escolar, frequência do ensino pré-escolar e educação sombra – explicações ou aulas particulares, correntemente designadas apenas por “explicações” (Pinto, Costa, & Silva, 2014).

A retenção escolar emergiu em dez estudos, cinco portugueses, três espanhóis e dois brasileiros. Todos os estudos seguiram a mesma lógica de pensamento, de que a retenção é um fator que prejudica o desempenho dos estudantes no PISA.

Em Portugal, Fernandes (2008) salientou que o número elevado de estudantes que reprovam nos diferentes ciclos da escolaridade, cria “(...) verdadeiros exércitos de crianças e jovens que, desde muito cedo, experimentam a frustração, o desencanto, a inibição e a falta de autoestima” (pp. 291-292). Conboy (2011) corroborou a afirmação acima, referindo que a prática da retenção é socialmente injusta e tem um impacto negativo no desempenho dos estudantes. Na Espanha, García-Pérez e colegas (2014) evidenciaram que quanto mais tarde se dá a retenção, maior e mais negativo é o efeito provocado nos estudantes. Explicitaram também que a retenção não é a medida mais correta para ajudar os estudantes mais fracos a ultrapassar as suas dificuldades, e que as políticas educativas, assim como a Economia da Educação não se podem alhear deste problema. No Brasil, Crahay & Baye (2013) consideraram a retenção ineficaz e prejudicial, mesmo quando, erradamente, é uma prática tida como legitima em alguns países e, corretamente, considerada inadequada em outros.

Estudos portugueses e brasileiros associaram a retenção a uma grande dispersão do ano de escolaridade dos estudantes expostos ao PISA (Afonso & Costa, 2009; Pereira, 2010; Silva, 2004; Soares & Nascimento, 2012). Em Portugal, Silva (2004) exemplificou esta questão tomando como exemplo o PISA 2000, em que o ano de escolaridade dos estudantes portugueses variou entre o 5.º ano e o 11.º ano. Estes estudantes deveriam normalmente estar entre o 9.º e o 10.º, o que justifica o seu deficit de aprendizagem. Ainda de acordo com o autor, Portugal estaria acima da média da OCDE se só se considerassem os resultados dos estudantes que estão entre o 9.º e o 10.º ano, o que é corroborado por Afonso e Costa (2009) e Pereira (2010). No Brasil, Soares e Nascimento (2012) também mostraram o enviesamento que a retenção provoca na amostra, com muitos estudantes em níveis de escolaridade muito abaixo do que deveriam estar para a idade de 15 anos.

O segundo subfator, equidade/desigualdade educacional, foi referido por seis estudos, três brasileiros, dois portugueses e um espanhol. Todos os estudos evidenciaram a forte relação entre a origem social dos estudantes e os seus desempenhos escolares. Neste sentido, o poder económico das famílias foi considerado um fator gerador de desigualdade educacional (Del Porto & Ferreira, 2007; Pereira, 2010).

No Brasil, Crahay e Baye (2013) denunciaram que é nos extratos socioeconómicos mais baixos que se encontram os estudantes com desempenhos inferiores, estando assim estas duas variáveis associadas. Justificaram que para melhorar o desempenho de um sistema educativo no PISA, é necessário não só reduzir a diferença social de desempenho dos mais desfavorecidos, mas também elevar o desempenho dos mais favorecidos. Estes autores afirmaram que o determinismo social é gerador de desigualdades educacionais e que não existe em nenhum lado uma escola justa e eficaz. Em Espanha, Ferrer e colegas (2010) concluíram que as escolas não cumprem o objetivo de reduzir estas desigualdades dos estudantes, não proporcionando uma repartição equitativa dos resultados.

Neste subfator, dois estudos, um português e um espanhol, ressaltaram o papel do PISA para justificar mudanças no sistema educativo, no sentido de estabelecer comparações entre países, permitindo avaliar e reduzir as desigualdades, bem como aumentar a qualidade e equidade escolar (Afonso & Costa, 2009; Ferrer et al., 2010).

O terceiro subfator, políticas educativas, foi referido por cinco estudos, dois portugueses, dois espanhóis e um brasileiro. De um modo geral, os estudos ressaltaram a influência que o PISA pode ter nas políticas educativas de seus países. Silva (2004) concluiu que “(...) estudos como o PISA são instrumentos extremamente úteis tanto para a definição de políticas educacionais gerais eficazes como para a definição de estratégias que permitam melhorar o ensino da Matemática em Portugal” (p. 78). Ainda na realidade portuguesa, Afonso e Costa (2009) detetaram que o PISA é um instrumento que além de poder influenciar os modos de fazer política educativa, permitiu substituir o debate mais ideológico, pela criação de processos de decisão política, baseados em informação técnica, em dados e números. Para além das políticas educativas, estudos espanhóis também salientaram a especial importância do PISA para a Economia da Educação (Cordero- Ferrera et al., 2010; García-Pérez et al., 2014). No Brasil, Del Porto e Ferreira (2007), baseandose nos dados do PISA 2003, apontaram a organização do ensino público como um dos aspetos centrais explicativo do desempenho dos países, destacando aqui o Brasil.

O quarto subfator, organização curricular, foi abordado por três estudos, dois singapurenses e um brasileiro. Todos os estudos foram unânimes em reconhecer a influência determinante da organização curricular no sucesso dos estudantes. O estudo de Jerrim e Vignoles (2016) concluiu que os métodos de ensino e o desenho curricular são determinantes para o sucesso dos estudantes de Singapura. Salientaram que menos é mais, isto é, os estudantes ganham mais em saber muito de poucos conteúdos ao invés de serem expostos a muitos conteúdos e acabarem por ficar a saber pouco de cada um deles. Destacaram que o ensino é baseado na Resolução de Problemas não rotineiros, sendo as rotinas desencorajadas. O uso de materiais manipuláveis para a apresentação, compreensão e resolução das tarefas propostas é fundamental. Este estudo ressaltou, também, que em Singapura só se avança de um conteúdo para outro quando todos os estudantes já o dominam. Os estudantes com maior facilidade em assimilar um determinado conteúdo são incen- tivados a aprofundarem os seus conhecimentos sobre o mesmo. Ainda no contexto singapurense, o estudo de Thien e Ong (2015) detetou que as práticas de sala de aula devem ir ao encontro dos estudantes, dos saberes e da predisposição para aprender, que eles manifestam. Assim, os estudantes ao serem colocados perante um ensino mais prático e menos expositivo são incentivados a aprender a aprender.

No Brasil, o estudo de Aguiar e Ortigão (2012) evidenciou que as características de cada país influenciam a organização de cada sistema educativo, pondo em evidência a forma como os currículos estão e/ou são organizados e no destaque com que cada conteúdo é abordado e explorado na sala de aula.

O quinto subfator, abandono escolar, foi destacado por dois estudos, um português e outro brasileiro. Ambos os estudos associaram o abandono escolar às características do sistema educativo e às desigualdades socioeconómicas dos estudantes.

Silva (2004) mencionou que um sistema educativo tem de fornecer meios de recuperação aos estudantes com piores resultados e menos favorecidos, uma vez que estes, frequentemente, ficam com baixos níveis de escolaridade, o que leva ao abandono do sistema educativo. Soares e Nascimento (2012) verificaram que um sistema educativo não pode ser bom se os seus piores estudantes não aprenderem, evitando assim que os menos favorecidos tenham de abandonar a escola. Os autores constataram, de forma animadora, que o maior avanço dos estudantes brasileiros, desde a segunda edição do PISA, é uma sinalização de que o sistema educativo vem gradualmente re- duzindo as suas históricas desigualdades (Soares & Nascimento, 2012).

O sexto subfator, frequência do ensino pré-escolar, foi citado por um estudo espanhol (García-Pérez et al., 2014). Este estudo evidenciou que a frequência da educação pré-escolar é determinante para o sucesso futuro dos estudantes.

O último subfator, a educação sombra, foi abordado num estudo de Singapura (Jerrim & Vignoles, 2016). Este estudo ressaltou que a educação sombra está muito enraizada nas sociedades do leste asiático, contribuindo para o sucesso dos estudantes singapurenses.

(ii) contexto socioeconómico familiar

Este fator destacou-se em 13 estudos, quatro espanhóis, três portugueses, três brasileiros, dois singapurenses e um holandês. Todos os estudos consideraram que as características socioeconómicas das famílias têm um forte impacto no desempenho escolar dos estudantes.

Os estudos espanhóis, muito focados na Economia da Educação, atestaram que o fator mais de- terminante dos resultados no PISA é o poder socioeconómico das famílias (Cordero-Ferrera et al., 2010; Crespo-Cebada et al., 2013; Ferrer et al., 2010; García-Pérez et al., 2014).

Em Portugal, Silva (2004), para além do estatuto socioeconómico das famílias, explicitou o ambiente familiar como sendo uma causa de sucesso educativo dos estudantes, sendo mesmo apresentado como uma das conclusões do PISA 2003. Pereira (2010) destacou que as características do contexto familiar foram as principais causas dos estudantes portugueses estarem na metade inferior do ranking, dos países que participaram no PISA em 2006. Constatou, assim, que o ambiente familiar e a existência de recursos educacionais em casa, bem como o acompanhamento dos filhos na realização das tarefas escolares em casa são determinantes no sucesso dos estudantes. Esta mesma ideia é corroborada pelo estudo português de Conboy (2011).

Del Porto e Ferreira (2007), no Brasil, referiram que a distribuição desigual de capitais, quer capital económico (bens e serviços a que ele dá acesso), quer capital social (relacionado com as redes de influência social pelas família, diálogo familiar, status ocupacional e recursos educacionais), quer, ainda, de capital cultural (relacionado com as competências culturais e linguísticas herdadas pelo estudante, advindas da escolaridade dos pais) influencia fortemente o desempenho escolar dos estudantes. Os autores detetaram que os estudantes de famílias com baixo poder económico, mas com alta posse de bens educacionais têm, regra geral, um desempenho superior à média. No extremo oposto, estudantes oriundos de famílias com baixa posse de bens educacionais, apesar do alto poder económico das suas famílias, têm um desempenho inferior à média, corroborando o estudo de Aguiar & Ortigão (2012). Estes autores destacaram que a escola mimetiza a socieda- de, pois esta é um local onde se estabelecem relações de poder e, também, relações interpessoais. Constitui-se, assim, por excelência, num espaço institucional privilegiado, em que os saberes e símbolos da sociedade moderna circulam. Concluíram que diferentes escolas podem fazer diferentes tipos de seleção no interior da cultura (Aguiar & Ortigão, 2012). Crahay (2013) reforçou que as crianças de estratos socioeconómicos inferiores, que se caracterizam geralmente pelo trabalho manual do pai e por um nível baixo de escolaridade dos pais, chegam com menos frequência aos níveis mais elevados da trajetória escolar do que aqueles cujos pais têm uma boa renda e exercem uma profissão liberal ou de tipo intelectual (Crahay & Baye, 2013).

Os dois estudos singapurenses (Jerrim & Vignoles, 2016; Thien & Ong, 2015) e um estudo holandês (Bakan Kalaycıoğlu, 2015) reforçaram a ligação do estatuto socioeconómico das famílias ao maior sucesso dos estudantes. Os estudos singapurenses mostraram que este fator é determinante nas escolhas que as famílias podem fazer de modo a proporcionar as condições mais favoráveis aos seus educandos, tendo em conta a grande competitividade que existe nos países do leste asiático.

(iii) características das escolas

Este fator surgiu em dez estudos, três portugueses, dois singapurenses, dois holandeses, dois brasileiros e um espanhol. Neste fator emergiram quatro subfatores: autonomia da escola, desempenho dos professores, tipo de escola e dimensão da escola.

A autonomia da escola foi considerada em todos os estudos. Estes estudos assinalaram a importância da autonomia das escolas em desencadear estratégias para melhorar o sucesso dos seus estudantes, sendo ressaltadas: gestão de recursos escolares (Bakan Kalaycıoğlu, 2015; Cornelisz, 2013; Crespo-Cebada et al., 2013; Güzel & Berberoğlu, 2005; Jerrim & Vignoles, 2016; Pereira, 2010; Thien & Ong, 2015), ambiente escolar, qualificação dos professores (Crespo-Cebada et al., 2013; Jerrim & Vignoles, 2016; Pereira, 2010; Thien & Ong, 2015), métodos de avaliação (Crespo- Cebada et al., 2013; Fernandes, 2008; Jerrim & Vignoles, 2016; Pereira, 2010; Thien & Ong, 2015), e gestão de programas (Crespo-Cebada et al., 2013; Jerrim & Vignoles, 2016; Pereira, 2010; Thien & Ong, 2015).

No que se refere à gestão dos recursos escolares, dois estudos portugueses chamaram a atenção para a necessidade da contratação de mais professores para diminuir o número de estudantes em sala de aula (Pereira, 2010; Silva, 2004). Esta medida foi considerada fundamental para que os professores possam acompanhar os estudantes com mais dificuldades e, consequentemente, reduzir o insucesso e/ou o abandono escolar.

Aguiar e Ortigão (2012) constataram que há escolas que são melhores a ajudar os seus estudantes do que outras, apesar de apresentarem características semelhantes. Ficou evidente, neste estudo, que há escolas que compreendem melhor quer o contexto escolar quer o próprio processo escolar, o que favorece a compreensão dos resultados dos seus estudantes e consequente tomada de medidas para os melhorar se for necessário.

O segundo subfator, desempenho dos professores, foi referido em cinco estudos, dois portugueses, dois espanhóis e um singapurense. Estes estudos foram unânimes em considerar o melhor desempenho dos professores como um fator determinante nas boas práticas de sala de aula, com um impacto considerável no sucesso das aprendizagens dos seus estudantes. Neste sentido, foram destacados alguns aspetos das práticas de sala de aula: as relações professor-estudante; o clima disciplinar; a ênfase dos professores dada ao desempenho escolar; as expectativas e nível de exi- gência dos professores em relação aos estudantes (Silva, 2004). Para além destes aspetos, também emergiu o número de estudantes por professor, nos dois estudos espanhóis (Cordero-Ferrera et al., 2010; Crespo-Cebada et al., 2013) e um português (Pereira, 2010), bem como o empenho dos professores no desenvolvimento do seu trabalho em um estudo português (Silva, 2004) e outro espanhol (Crespo-Cebada et al., 2013).

Por fim, o estudo de Jerrim & Vignoles (2016) considerou que um dos fatores determinantes do sucesso dos estudantes de Singapura é a grande colaboração que existe entre professores. Esta colaboração abrange a preparação das aulas, a construção de materiais didáticos, a partilha das ansiedades e a construção de saber profissional através de aulas colaborativas, em que, frequente- mente, estão em sala de aula mais do que um profrssor.

O terceiro subfator, tipo de escola (pública ou privada), foi abordado em quatro estudos, dois espanhóis, um português e um holandês. Os estudos espanhóis (Crespo-Cebada et al., 2013; Ferrer et al., 2010) e o português (Pereira, 2010) verificaram que os estudantes das escolas privadas têm melhores resultados do que seus colegas das escolas públicas. Associaram este facto à procedência dos estudantes das escolas privadas de famílias de alto nível socioeconómico.

O estudo holandês não apoiou os resultados dos estudos acima, já que o seu autor alegou que os dados não permitiram tirar tal conclusão, tendo em vista que os resultados ténues a favor das escolas privadas no PISA 2006 desapareceram no PISA de 2009, passando a favorecer as escolas públicas holandesas (Cornelisz, 2013).

O último subfator, dimensão da escola, foi abordado num estudo espanhol (Crespo-Cebada et al., 2013), tendo os seus autores salientado que os estudantes de escolas de pequena dimensão têm, em regra, melhores resultados do que os estudantes das escolas com maior dimensão.

(iv) características dos estudantes

Este fator destacou-se em nove estudos, quatro brasileiros, dois singapurenses, um português, um holandês e um espanhol. Neste fator ressaltaram cinco subfatores: género; autoconfiança (moti- vação, autoeficácia, ansiedade); modos de pensar; idade; e hábitos de leitura dos estudantes.

O subfator género emergiu em quatro estudos, um português, um singapurense, um espanhol e um brasileiro. Todos os estudos detetaram que o género masculino tem melhores resultados que os do género feminino em Literacia Matemática (Cordero-Ferrera, Crespo-Cebada, & Pedraja- Chaparro, 2013; Del Porto & Ferreira, 2007; Thien & Ong, 2015). O estudo de Del Porto e Ferreira (2007) especificou que os estudantes brasileiros do género masculino se sobressaem com cerca de 14 pontos a mais na média em relação às estudantes do género feminino.

O segundo subfator, autoconfiança (motivação, autoeficácia, ansiedade), foi abordado em dois estudos, um singapurense e um holandês. Jerrim & Vignoles (2016) no seu estudo sobre os estu- dantes de Singapura, sublinharam que aprender Matemática é algo de que os estudantes gostam, pois acreditam ser esta matéria importante para o seu futuro. Este estudo concluiu que estudantes com maior motivação apresentam melhores resultados em Matemática. Ressaltaram que as boas práticas em sala de aula podem desenvolver a autoestima e eficácia dos estudantes na resolução de problemas de Matemática, reduzindo, deste modo, as suas ansiedades. Os autores ainda afirmaram que os estudantes singapurenses têm grande capacidade para resolver problemas, quer de matemática pura quer de matemática aplicada. Atribuem o excelente desempenho destes estudantes aos seus baixos níveis de ansiedade em lidar com situações matemáticas. Esta mesma ideia foi corroborada pelo estudo de Bakan Kalaycıoğlu (2015), ao referir que a menor ansiedade matemática está diretamente relacionada com a autoeficácia na resolução de tarefas, o que, por sua vez, se repercute no sucesso dos estudantes holandeses.

O terceiro subfator, modos de pensar, foi abordado por dois estudos, um singapurense e um brasileiro. O estudo de Aguiar e Ortigão (2012) detetou que as diferenças de competências entre estudantes estão também relacionadas com os seus modos de pensar. Estes, por sua vez, são influenciados pelos seus valores culturais e sociais, assim como pelas características socioeconómicas e culturais das suas famílias. O estudo de Jerrim e Vignoles (2016) reforçou que as questões de ordem cultural influenciam os modos de pensar, sendo os estudantes confrontados regularmente com situações problemáticas que os levam a desenvolver e apurar os seus raciocínios matemáticos. De um modo geral, ambos os estudos destacaram a importante influência deste subfator nos resultados dos estudantes.

O quarto subfator, idade, foi abordado por um estudo brasileiro. Klein (2011) apontou duas questões de comparabilidade relacionadas com a idade dos estudantes: (i) o momento em que o teste é aplicado (uma vez que ser no início, no meio ou no fim do ano letivo pode influenciar os resultados dos estudantes); e (ii) a idade com que os estudantes começam a sua escolaridade (há países em que é com 6 anos e outros com 7 anos). Relativamente à primeira questão, Klein (2011) sugeriu que este problema seria facilmente ultrapassado se a aplicação do teste fosse feita, em todos os países, exatamente no mesmo número de meses, após o início do ano letivo.

O último subfator, hábitos de leitura dos estudantes, foi destacado em um estudo brasileiro (Güzel & Berberoğlu, 2005), o qual refere que a utilização das bibliotecas escolares e os hábitos de leitura têm uma grande importância no bom desempenho em Literacia Matemática dos estudantes brasileiros.

(v) uso das tecnologias da informação e comunicação

Este fator emergiu em três estudos, dois brasileiros e um português. Estes estudos associaram o uso de computadores ao desempenho dos estudantes. Dois destes estudos salientaram que o uso de computador para realizar tarefas de alto nível pode ser muito benéfico para os estudantes, contribuindo para a melhoria do seu desempenho em programas como o PISA (Del Porto & Ferreira, 2007; Pereira, 2010). No entanto, reforçaram que o seu uso para entretenimento ou simplesmente para navegar na Internet está associado a fracos desempenhos dos estudantes. Güzel e Berberoğlu (2005) ressaltaram o impacto positivo das tecnologias nos resultados dos estudantes brasileiros.

DISCUSSÃO

Com base na análise dos estudos, emergiram, de forma indutiva, cinco fatores e dezasseis subfatores. Os fatores que mais se destacaram foram o sistema educativo e o contexto socioeconómico das famílias. Seguiram-se a estes, os fatores características das escolas e características dos estu- dantes. O fator menos expressivo foi o uso das TIC.

Nos estudos da Espanha e do Brasil, os fatores de maior evidência foram: o sistema educativo e o contexto socioeconómico das famílias. Seguiu-se a estes, o fator características dos estudantes. Inversamente, os fatores de menor expressão foram características das escolas e uso das TIC.

Os fatores que mais se destacaram nos estudos de Singapura e Holanda foram: características das escolas, seguidos pelos fatores contexto socioeconómico das famílias e características dos estudantes. O fator sistema educativo foi o menos expressivo, emergindo somente nos estudos singapurenses.

Relativamente a Portugal, todos os estudos focaram o fator sistema educativo. Seguiram-se a este, os fatores contexto socioeconómico das famílias e características das escolas. Os fatores menos ressaltados foram as características dos estudantes e o uso das TIC.

No fator sistema educativo, o subfator retenção escolar foi o que mais sobressaiu nos estudos ligados a Portugal e aos países abaixo da média da OCDE. A retenção foi considerada um problema associado à grande dispersão do ano de escolaridade dos estudantes, com consequências negati- vas nos resultados do PISA. Estes dados são corroborados pelo relatório do PISA 2012 (OECD, 2014) e também por outros estudos mais gerais (Belot & Vandenberghe, 2011; Cordero-Ferrera et al., 2013; Cordero-Ferrera, Crespo-Cebada, Pedraja-Chaparro, & González, 2011; Fischbach, Keller, Preckel, & Brunner, 2013; Fonseca, Valente, & Conboy, 2011).

Estudos portugueses e espanhóis alertaram que os seus países apresentam uma das maiores taxas de retenção entre os países da OCDE, o que prejudica o desempenho de seus estudantes no PISA (Afonso & Costa, 2009; Conboy, 2011; Crespo-Cebada et al., 2013; García-Pérez et al., 2014; Pereira, 2010; Silva, 2004). Já os estudos de Singapura e Holanda não mencionaram este subfator, provavelmente pelo reduzido número de estudos encontrados e pelo facto da retenção ser pouco significativa na Holanda e quase residual em Singapura, com uma média de 17,05 e 3,63 por cen- to, respetivamente, conforme base de dados do PISA 2012.

Ainda neste fator, seguiram-se dois subfactores, equidade/desigualdade educacional e políticas educativas, os quais também apareceram somente nos estudos portugueses e dos países abaixo da média da OCDE. Assim como na retenção, nestes dois subfactores, os países acima da média da OCDE estiveram ausentes, o que pode, também, estar relacionado com o reduzido número de estudos.

Todos os estudos associaram a desigualdade educacional ao baixo poder económico das famílias, destacando a incapacidade da escola em reduzir estas desigualdades. A relevância deste tema tem sido também reforçada noutros estudos internacionais (Ferrer et al., 2010; Gilleece, Cosgrove, & Sofroniou, 2010; Mostafa, 2013; Thomson & Hillman, 2013).

Relativamente ao subfator políticas educativas, todos os estudos ressaltaram a influência do PISA nas políticas educativas dos seus países. Os resultados e relatórios do PISA legitimaram a tomada de medidas políticas sobre os sistemas educativos, que foram consideradas por alguns governos, como por exemplo, os governos português, alemão e sueco (Carvalho, 2009; Carvalho & Costa, 2014; Dobbins & Martens, 2012; Dolin & Krogh, 2010; Eijkelhof, Kordes, & Savelsbergh, 2013; Knodel, Martens, & Niemann, 2013; Lundgren, 2011; Pons, 2011).

Ainda no fator sistema educativo, emergiram os subfatores organização curricular e abandono escolar, com menor expressividade relativamente aos subfactores anteriores. Na organização curricular, sobressaíram os estudos singapurenses pela sua influência determinante no sucesso dos estudantes do leste asiático. Enfatizaram os aspetos positivos da organização curricular no seu país, salientando os métodos de ensino (resolução de problemas) e o desenho curricular. Estas mesmas ideias foram alvo de estudos internacionais (Areepattamannil, 2014b, 2014a; Cheema & Kitsantas, 2013; Demir, Kılıç, & Ünal, 2010; Denny & Oppedisano, 2013; Jerrim & Vignoles, 2016; Minxuan & Lingshuai, 2012).

O subfator abandono escolar foi referido por somente um estudo português e um brasileiro. Foi considerado um problema complexo, no qual intervêm múltiplos fatores e condições sociais, políticas, económicas e, também, escolares (González, 2006) e que requer reflexão e intervenção urgente. Estas ideias foram também apoiadas por estudos da literatura (Areepattamannil, 2014a; Fernandes, 2008; García-Pérez et al., 2014; Gilleece et al., 2010).

Por fim, no sistema educativo, os subfatores frequência do ensino pré-escolar e educação sombra tiveram uma expressão pouco significativa. A frequência do ensino pré-escolar foi referido em somente um estudo espanhol. Este estudo ressaltou a sua influência na diminuição das probabilidades de retenção, assim como do índice de estudantes que abandonam o sistema educativo sem concluírem a educação obrigatória. Segundo o PISA em foco número 1, “(...) os resultados do PISA 2009 revelam que em praticamente todos os países da OCDE os estudantes de 15 anos que frequentaram alguma escola em idade pré-escolar obtiveram desempenhos melhores do que aqueles que não o fizeram” (OECD, 2011, p. 1). Esses dados são também reforçados no relatório PISA 2012 (OECD, 2014), assim como na literatura internacional (Albu, 2015; Burger, 2016; Curi & Menezes-Filho, 2009).

O subfator educação sombra somente emergiu em um estudo singapurense. Esta prática tem estado muito enraizada na cultura do leste asiático, em Portugal e no Brasil. A vasta literatura existente evidência o interesse por esta temática (Bray, 2008, 2009, 2013b, 2013a, 2014; Costa, Neto Mendes, & Ventura, 2013; Costa, Ventura, & Neto Mendes, 2013; Neto Mendes, Martins, Ventura, & Costa, 2013; Pinto et al., 2014).

O fator contexto socioeconómico familiar foi o segundo mais considerado, nos estudos dos paí- ses abaixo da média da OCDE, seguidos dos portugueses e dos países acima da média da OCDE. Estes estudos evidenciaram que os estudantes provenientes de famílias com um nível socioeconómico mais elevado, apresentam melhores resultados em Literacia Matemática, no PISA. Deste modo, é preciso reduzir as desigualdades económicas das famílias, uma vez que a escola, não sendo um instrumento de mobilidade social, tenderá a perpetuar esta desigual distribuição nas futuras gerações. No entanto, é de destacar que a elevada posse de bens educacionais das famílias pode superar as desigualdades económicas, como demonstrou o estudo de Del Porto e Ferreira (2007). Estudos realizados em outros países também dão destaque a este fator (Anderson, Lin, Treagust, Ross, & Yore, 2007; Demir et al., 2010; Martino & Rezai-Rashti, 2013; L. Martins & Veiga, 2010).

No fator características das escolas, o terceiro mais referido, sobressaiu o subfator autonomia da escola, também nos estudos portugueses e dos países abaixo e acima da média da OCDE. Na importância da autonomia da escola foram ressaltados a autonomia na gestão de programas, métodos de avaliação e recursos escolares, o clima escolar e a qualificação dos professores. Estudos portugueses destacaram a pouca autonomia das escolas no seu país (Fernandes, 2008; Silva, 2004), ao contrário dos estudos holandeses e singapurenses. Estes dados são corroborados pela literatura internacional (French, Miles, & Nathan, 2014; Hanushek, Link, & Woessmann, 2013; Keddie, 2015; A. M. Martins & Silva, 2011; You & Morris, 2015).

Ainda no fator características das escolas, foram de menor destaque os subfatores desempenho dos professores, tipo e dimensão da escola. O bom desempenho dos professores esteve relacionado com as boas práticas de sala de aula, contribuindo para o sucesso dos estudantes portugueses, es- panhóis e singapurense. Ao trabalho colaborativo entre professores foi dado um destaque muito importante nas escolas dos países do leste asiático, o que está associado, por um lado à cultura de escola e, por outro lado, à grande competitividade existente entre os estudantes, para poderem escolher as melhores escolas. Estes fatores também foram alvo da literatura internacional (Anderson et al., 2007; Cheema & Kitsantas, 2013; Cordero-Ferrera et al., 2011; Demir et al., 2010; Denny & Oppedisano, 2013; Lee, 2012; Vandenberghe & Robin, 2004).

No tipo de escola, as escolas privadas apareceram associadas aos melhores resultados dos estudantes, nos estudos espanhóis e português. Este resultado não foi apoiado pelo estudo holandês, considerando que os resultados do PISA 2009 favoreceram as escolas públicas holandesas. A pe- quena dimensão da escola foi também relacionada ao bom desempenho de estudantes espanhóis.

No penúltimo fator, características dos estudantes, o género foi o subfator de maior expressão, estando o género masculino relacionado com o melhor desempenho em Literacia Matemática no PISA, dos estudantes singapurenses, espanhóis, brasileiros e portugueses. A literatura interna- cional também dá destaque a este subfator (Demir et al., 2010; Forgasz & Hill, 2012; Martino & Rezai-Rashti, 2013; Matějů & Smith, 2014; Reilly, 2012; Stoet & Geary, 2013). A autoconfiança e os modos de pensar foram subfatores pouco mencionados. Singapura e Holanda ao darem grande enfâse à resolução de problemas, promovem diferentes modos de pensar. Assim, desenvolvem competências de autoconfiança que, por sua vez, baixam os níveis de ansiedade dos seus estudan- tes. Estes dados são reforçados por estudos da literatura (Buchwald, Fleischer, & Leutner, 2015; R. Bybee, McCrae, & Laurie, 2009; R. W. Bybee, 2008; Cheema & Kitsantas, 2013; Greiff, Holt, & Funke, 2013; Kriegbaum, Jansen, & Spinath, 2015; Özcan, 2015). Os subfatores idade e hábitos de leitura dos estudantes tiveram pouca visibilidade, tendo sido focados em estudos no Brasil.

O último fator, uso das TIC, foi o fator de menor relevo, tendo emergido somente em estudos brasileiros e portugueses. As TIC são um fator que pode ter uma influência positiva nos resultados dos estudantes, se usadas na realização de tarefas de alto nível, e negativa, se o seu uso for para entretenimento. No entanto, “os resultados do PISA mostram que não há melhorias apreciáveis no desempenho dos estudantes na leitura, matemática e ciências nos países que investiram fortemente em TIC na educação” (OECD, 2015, p. 15). Este relatório também salienta que “a tecnologia pode amplificar o bom ensino, mas a boa tecnologia não pode substituir o ensino fraco” (OECD, 2015, p. 17).

Em síntese, os resultados desta revisão integrativa levam-nos a concluir que o desempenho de estudantes no PISA, dos países estudados, são afetados por uma multiplicidade de fatores complexos e intimamente interligados. Estes resultados também apontam para uma lacuna significativa de estudos na literatura, o que nos leva a relativizar os resultados encontrados. Deste modo, o facto de alguns fatores não aparecerem em estudos dos países considerados pode estar relacionado com este reduzido número de estudos na literatura. Torna-se, assim, necessário um maior investimento em investigações nesta área, para aprofundar o conhecimento sobre os fato- res detetados, bem como apontar novos fatores que contribuam para melhorar o desempenho dos estudantes. Investigar, divulgar e discutir os fatores que influenciam a aprendizagem dos estudantes são fundamentais para que medidas efetivas e eficazes possam ser tomadas pelos países. Neste sentido, os dados do PISA oferecem uma oportunidade excelente de fundamentar melhor os planos e opções políticas.

Referências

Afonso, N., & Costa, E. (2009). A influência do Programme for International Student Assessment (PISA) na decisão política em Portugal: o caso das políticas educativas do XVII Governo Constitucional Português. Revista de Ciências da Educação, 10, 53–63. Retrieved from http:// repositorio.ul.pt/handle/10451/5667.

Aguiar, G. da S., & Ortigão, M. I. R. (2012). Letramento em Matemática: um estudo a partir dos dados do PISA 2003. Bolema: Boletim de Educação Matemática, 26(42a), 1–22. https://doi. org/10.1590/S0103-636X2012000100002.

Albu, G. (2015). Pre-primary Education Teachers and Their Values in the Context of Current Education. Case Study. Procedia - Social and Behavioral Sciences, 180, 477–483. Doi: https:// doi.org/10.1016/j.sbspro.2015.02.147.

Anderson, J. O., Lin, H.-S., Treagust, D. F., Ross, S. P., & Yore, L. D. (2007). Using large-scale assessment datasets for research in science and mathematics education: Programme for Internatio- nal Student Assessment (PISA). International Journal of Science and Mathematics Education, 5(4), 591–614. Doi: https://doi.org/10.1007/s10763-007-9090-y.

Areepattamannil, S. (2014a). Are learning strategies linked to academic performance among ado- lescents in two states in India? A tobit regression analysis. The Journal of General Psychology, 141(4), 408–424. Doi: https://doi.org/10.1080/00221309.2014.957637.

Areepattamannil, S. (2014b). International note: what factors are associated with reading, mathe- matics, and science literacy of Indian adolescents? A multilevel examination. Journal of Adolescence, 37(4), 367–372. Doi: https://doi.org/10.1016/j.adolescence.2014.02.007

Bakan Kalaycıoğlu, D. (2015). The Influence of Socioeconomic Status, Self-efficacy, and Anxie-ty on Mathematics Achievement in England, Greece, Hong Kong, the Netherlands, Turkey, and the USA. Educational Sciences: Theory & Practice, 15(5), 1391–1401.Doi: https://doi. org/10.12738/estp.2015.5.2731

Belot, M., & Vandenberghe, V. (2011). Evaluating the ‘threat’ effects of grade repetition: exploiting the 2001 reform by the French-speaking community of Belgium. Education Economics, 22(1), 73–89. Doi: https://doi.org/10.1080/09645292.2011.607266.

Bray, M. (2008). As explicações numa perspetiva comparada: implicações no trabalho dos professores e no funcionamento das escolas. In J. A. Costa, A. Neto Mendes, & A. Ventura (Eds.), Xplika: investigação sobre o mercado das explicações (pp. 11–26). Aveiro: Universidade de Aveiro.

Bray, M. (2009). L’ombre du système éducatif: quel soutien scolaire privé, quelles politiques publiques? Paris: UNESCO, Institut international de planification de l’éducation (IIPE). Retrieved from http://www.iiep.unesco.org/fileadmin/user_upload/Info_Services_Publications/ pdf/2011/Bray_Systeme_educatif.pdf.

Bray, M. (2013a). Benefícios e tensões da educação na sombra: perspetivas comparativas sobre o papel e o impacto das explicações na vida dos estudantes de Hong Kong. In J. A. Costa, A. Neto Mendes, & A. Ventura (Eds.), Xplika internacional: panorâmica sobre o mercado das explicações (pp. 117–138). Aveiro: UA Editora.

Bray, M. (2013b). Shadow education: Comparative perspectives on the expansion and implica- tions of private supplementary tutoring. Procedia - Social and Behavioral Sciences, 77, 412– 420. Doi: https://doi.org/10.1016/j.sbspro.2013.03.096.

Bray, M. (2014). The impact of shadow education on student academic achievement: Why the research is inconclusive and what can be done about it. Asia Pacific Education Review, 15(3), 381–389. Doi: https://doi.org/10.1007/s12564-014-9326-9.

Buchwald, F., Fleischer, J., & Leutner, D. (2015). A field experimental study of analytical problem solving competence—Investigating effects of training and transfer. Thinking Skills and Creativity, 18, 18–31. Doi: https://doi.org/10.1016/j.tsc.2015.04.009.

Burger, K. (2016). Intergenerational transmission of education in Europe: Do more comprehensive education systems reduce social gradients in student achievement? Research in Social Stratification and Mobility, 44, 54–67. Doi: https://doi.org/10.1016/j.rssm.2016.02.002.

Bybee, R., McCrae, B., & Laurie, R. (2009). PISA 2006: An assessment of scientific literacy. Journal of Research in Science Teaching, 46(8), 865–883.Doi: https://doi.org/10.1002/tea.20333.

Bybee, R. W. (2008). Scientific literacy, environmental issues, and PISA 2006: The 2008 Paul F- Brandwein lecture. Journal of Science Education and Technology, 17(6), 566–585. Doi: https:// doi.org/10.1007/s10956-008-9124-4.

Carvalho, L. M. (2009). Governando a educação pelo espelho do perito: uma análise do PISA como instrumento de regulação. Educação & Sociedade, 30(109), 1009–1036.Doi: https://doi. org/10.1590/S0101-73302009000400005.

Carvalho, L. M., & Costa, E. (2014). Seeing education with one’s own eyes and through PISA lenses: Considerations of the reception of PISA in european countries. Discourse: Studies in the Cultural Politics of Education, 1–9. Doi: https://doi.org/10.1080/01596306.2013.871449.

Cheema, J. R., & Kitsantas, A. (2013). Influences of disciplinary classroom climate on high school student self-efficacy and mathematics achievement: A look at gender and racial–ethnic differences. International Journal of Science and Mathematics Education, 12(5), 1261–1279. Doi: https://doi.org/10.1007/s10763-013-9454-4.

Conboy, J. (2011). Retention and science performance in Portugal as evidenced by PISA. Procedia - Social and Behavioral Sciences, 12, 311–321. Doi: https://doi.org/10.1016/j.sbs- pro.2011.02.040.

Cordero-Ferrera, J., Crespo-Cebada, E., & Pedraja-Chaparro, F. (2013). Rendimiento educativo y determinantes según PISA: Una revisión de la literatura en España. Revista de Educación, (362), 273–297. Doi: https://doi.org/10.4438/1988-592X-RE-2011-362-161.

Cordero-Ferrera, J., Crespo-Cebada, E., Pedraja-Chaparro, F., & González, D. S. (2011). Explo- ring educational efficiency divergences across Spanish regions in PISA 2006. Revista de Economía Aplicada. Retrieved from http://dialnet.unirioja.es/servlet/articulo?codigo=3804264.

Cordero-Ferrera, J., Crespo-Cebada, E., & Santín-González, D. (2010). Factors affecting educa- tional attainment: evidence from Spanish PISA 2006 Results. Regional and Sectoral Economics Studies, 10(3), 55–76. Retrieved from http://www.researchgate.net/profile/Daniel_Santin/ publication/227410148_FACTORS_AFFECTING_EDUCATIONAL_ATTAINMENT_EVI- DENCE_FROM_SPANISH_PISA_2006_RESULTS/links/02e7e51e68d602b83a000000.pdf

Cornelisz, I. (2013). Relative Private School Effectiveness in the Netherlands: A Reexamination of PISA 2006 and 2009 data. Procedia Economics and Finance, 5, 192–201. Doi: https://doi. org/10.1016/S2212-5671(13)00025-7.

Costa, J. A., Neto Mendes, A., & Ventura, A. (2013). Xplika internacional: panorâmica sobre o mercado das explicações. Aveiro: UA Editora.

Costa, J. A., Ventura, A., & Neto Mendes, A. (2013). Lisboa, Seul, Brasília e Otava: caracterização do fenómeno das explicações na perspetiva dos alunos. In J. A. Costa, A. Neto Mendes, & A. Ventura (Eds.), Xplika internacional: panorâmica sobre o mercado das explicações (pp. 95–114). Aveiro: UA Editora.

Crahay, M., & Baye, A. (2013). Existem escolas justas e eficazes? Esboço de resposta baseado no PISA 2009. Cadernos de Pesquisa, 43(150), 858–883. Doi: https://doi.org/10.1590/S0100- 15742013000300007.

Crespo-Cebada, E., Pedraja-Chaparro, F., & Santín-González, D. (2013). Does school owner- ship matter? An unbiased efficiency comparison for regions of Spain. Journal of Productivity Analysis, 41(1), 153–172. Doi: https://doi.org/10.1007/s11123-013-0338-y.

Curi, A. Z., & Menezes-Filho, N. A. (2009). A relação entre educação pré-primária, salários, escolaridade e proficiência escolar no Brasil. Estudos Econômicos, 39(4), 811–850. Doi: https:// doi.org/10.1590/S0101-41612009000400005.

Del Porto, F., & Ferreira, C. (2007). Os fatores socioeconômicos e culturais associados ao desempenho dos alunos no PISA 2003 (Brasil, México, Espanha e Portugal). XIII CONGRESSO BRASILEIRO DE SOCIOLOGIA, 1–19. Retrieved from http://www.sbsociologia.com.br/por- tal/index.php?option=com_docman&task=doc_download&gid=441&Itemid=170.

Demir, İ., Kılıç, S., & Ünal, H. (2010). Effects of students’ and schools’ characteristics on mathematics achievement: findings from PISA 2006. Procedia - Social and Behavioral Sciences, 2(2), 3099–3103. Doi: https://doi.org/10.1016/j.sbspro.2010.03.472.

Denny, K., & Oppedisano, V. (2013). The surprising effect of larger class sizes: Evidence using two identification strategies. Labour Economics, 23, 57–65. Doi: https://doi.org/10.1016/j.la- beco.2013.04.004.

Dobbins, M., & Martens, K. (2012). Towards an education approach à la finlandaise ? French education policy after PISA. Journal of Education Policy, 27(1), 23–43.Doi: https://doi.org/10 .1080/02680939.2011.622413

Dolin, J., & Krogh, L. B. (2010). The relevance and consequences of PISA science in a Danish context. International Journal of Science and Mathematics Education, 8(3), 565–592. Doi: https:// doi.org/10.1007/s10763-010-9207-6.

Eijkelhof, H. M. C., Kordes, J. H., & Savelsbergh, E. R. (2013). Implications of PISA outcomes for science curriculum reform in the Netherlands. In M. Prenzel, M. Kobarg, K. Schöps, & S. Rönnebeck (Eds.), Research on PISA - Research outcomes of the PISA research conferen- ce 2009 (pp. 7–21). Dordrecht, Heidelberg, New York, London: Springer. Doi: https://doi. org/10.1007/978-94-007-4458-5.

Fernandes, D. (2008). Algumas reflexões acerca dos saberes dos alunos em Portugal. Educação & Sociedade, 29(102), 275–296. Doi: https://doi.org/10.1590/S0101-73302008000100014.

Ferrer, F., Valiente, Ó., & Castel, J. L. (2010). Los resultados PISA 2006 desde la perspectiva de las desigualdades educativas: La comparación entre comunidades autónomas en España. Revista Espanola de Pedagogia, 68(245), 23–48. Retrieved from http://www.scopus.com/inward/re- cord.url?eid=2-s2.0-76349126003&partnerID=tZOtx3y1.

Fischbach, A., Keller, U., Preckel, F., & Brunner, M. (2013). PISA proficiency scores predict educational outcomes. Learning and Individual Differences, 24, 63–72. Doi: https://doi.or- g/10.1016/j.lindif.2012.10.012.

Fonseca, J., Valente, M. O., & Conboy, J. (2011). Student characteristics and PISA science performance: Portugal in cross-national comparison. Procedia - Social and Behavioral Sciences, 12, 322–329. Doi: https://doi.org/10.1016/j.sbspro.2011.02.041.

Forgasz, H. J., & Hill, J. C. (2012). Factors implicated in high mathematics achievement. International Journal of Science and Mathematics Education, 11(2), 481–499. Doi: https://doi. org/10.1007/s10763-012-9348-x.

French, D., Miles, K. H., & Nathan, L. (2014). The Path Forward: School Autonomy and Its Implications for the Future of Boston’s Public Schools. Boston Foundation.

García-Pérez, J. I., Hidalgo-Hidalgo, M., & Robles-Zurita, J. A. (2014). Does grade retention affect students’ achievement? Some evidence from Spain. Applied Economics. Retrieved from http:// www.tandfonline.com/doi/abs/10.1080/00036846.2013.872761#.VPts04GsWnA.

Gilleece, L., Cosgrove, J., & Sofroniou, N. (2010). Equity in mathematics and science outco- mes: characteristics associated with high and low achievement on PISA 2006 in Ireland. International Journal of Science and Mathematics Education, 8(3), 475–496. Doi: https://doi. org/10.1007/s10763-010-9199-2.

González, M. T. G. (2006). Absentismo y abandono escolar: una situación singular de la exclusión educativa. REICE - Revista Eletrónica Iberoamericana Sobre Calidad, Eficacia y Cambio En Educación. Retrieved from http://dialnet.unirioja.es/servlet/articulo?codigo=1368106.

Greiff, S., Holt, D. V, & Funke, J. (2013). Perspectives on problem solving in educational assessment: Analytical, interactive, and collaborative problem solving. Journal of Problem Solving, 5, 71–91. Doi: https://doi.org/10.7771/1932-6246.1153.

Güzel, Ç. I., & Berberoğlu, G. (2005). An analysis of the programme for international student as- sessment 2000 (PISA 2000) mathematical literacy data for brazilian, japanese and norwegian students. Studies in Educational Evaluation, 31(4), 283–314. Doi: https://doi.org/10.1016/j. stueduc.2005.11.006.

Hanushek, E. A., Link, S., & Woessmann, L. (2013). Does school autonomy make sense everywhe- re? Panel estimates from PISA. Journal of Development Economics, 104, 212–232. Doi: https:// doi.org/10.1016/j.jdeveco.2012.08.002.

Jerrim, J., & Vignoles, A. (2016). The link between East Asian ‘mastery’ teaching methods and English children’s mathematics skills. Economics of Education Review, 50, 29–44. Doi: https:// doi.org/10.1016/j.econedurev.2015.11.003.

Keddie, A. (2015). School autonomy, accountability and collaboration: a critical review. Journal of Educational Administration and History, 47(1), 1–17. Doi: https://doi.org/10.1080/002206 20.2015.974146.

Klein, R. (2011). Uma re-análise dos resultados do PISA: problemas de comparabilidade. Ensaio: Avaliação e Políticas Públicas Em Educação, 19(73), 717–768. Doi: https://doi.org/10.1590/ S0104-40362011000500002.

Knodel, P., Martens, K., & Niemann, D. (2013). PISA as an ideational roadmap for policy change: exploring Germany and England in a comparative perspective. Globalisation, Societies and Education, 11(3), 421–441. Doi: https://doi.org/10.1080/14767724.2012.761811.

Kriegbaum, K., Jansen, M., & Spinath, B. (2015). Motivation: A predictor of PISA’s mathematical competence beyond intelligence and prior test achievement. Learning and Individual Differences, 43, 140–148. Doi: https://doi.org/10.1016/j.lindif.2015.08.026

Lee, J.-S. (2012). The effects of the teacher–student relationship and academic press on student engagement and academic performance. International Journal of Educational Research, 53, 330–340. Doi: https://doi.org/10.1016/j.ijer.2012.04.006.

Lundgren, U. P. (2011). PISA as a political instrument: One History Behind the Formulating of the PISA Programme. In M. Pereyra, H. G. Kotthoff, & R. Cowen (Eds.), PISA under exa- mination: Changing knowledge, changing tests, and changing schools (pp. 17–30). Rotterdam, Boston, Taipei: Sense Publishers.

Martino, W., & Rezai-Rashti, G. (2013). “Gap talk” and the global rescaling of educational ac- countability in Canada. Journal of Education Policy, 28(5), 589–611. Doi: https://doi.org/10.1 080/02680939.2013.767074.

Martins, A. M., & Silva, V. G. da. (2011). State of the art: management, school autonomy and collegial organizations (2000/2008). Cadernos de Pesquisa, 41(142), 228–245. Doi: https://doi. org/10.1590/S0100-15742011000100012.

Martins, L., & Veiga, P. (2010). Do inequalities in parents’ education play an important role in PISA students’ mathematics achievement test score disparities? Economics of Education Re- view, 29(6), 1016–1033. Doi: https://doi.org/10.1016/j.econedurev.2010.05.001.

Matějů, P., & Smith, M. L. (2014). Are boys that bad? Gender gaps in measured skills, grades and aspirations in Czech elementary schools. British Journal of Sociology of Education, 1–25. Doi: https://doi.org/10.1080/01425692.2013.874278.

Minxuan, Z., & Lingshuai, K. (2012, March 1). An exploration of reasons for Shanghai’s success in the OECD Program for International Student Assessment (PISA) 2009. Frontiers of Education in China. Brill. Doi: https://doi.org/10.3868/s110-001-012-0007-3.

Mostafa, T. (2013). The anatomy of inequalities in educational achievements: An international investigation using PISA data. In M. Prenzel, M. Kobarg, K. Schöps, & S. Rönnebeck (Eds.), Research on PISA - Research outcomes of the PISA research conference 2009 (pp. 145–158). Dordrecht, Heidelberg, New York, London: Springer. Doi: https://doi.org/10.1007/978-94- 007-4458-5.

Neto Mendes, A., Martins, M. E., Ventura, A., & Costa, J. A. (2013). Explicações em Lisboa, Seul, Brasília e Otava: da especificidade dos contextos à (des)regulação do fenómeno. In J. A. Costa, A. Neto Mendes, & A. Ventura (Eds.), Xplika internacional: panorâmica sobre o mercado das explicações (pp. 29–67). Aveiro: UA Editora.

OECD. (2003a). Literacy skills for the world of tomorrow - Further results from PISA 2000. Paris: OECD Publishing. Doi: https://doi.org/10.1787/9789264102873-en.

OECD. (2003b). Literacy skills for the world of tomorrow - Further results from PISA 2000 (Executive summary). Paris: OECD Publishing. Retrieved from http://www.oecd.org/edu/ school/2960581.pdf.

OECD. (2004). Learning for tomorrow’s world - First results from PISA 2003. Paris: OECD Publishing.

OECD. (2010). PISA 2009 results: What students know and can do – student performance in reading, mathematics and science (Volume I). Paris: OECD Publishing. Doi: http://dx.doi.or- g/10.1787/9789264091450-en.

OECD. (2011). Does participation in pre-primary education translate into better learning outcomes at school? PISA in Focus, No 1. Doi: https://doi.org/10.1787/5k9h362tpvxp-en.

OECD. (2014). PISA 2012 results: What students know and can do – student performance in mathematics, reading and science (Volume I, revised edition, february 2014). Paris: PISA, OECD Publishing. Doi: http://dx.doi.org/10.1787/9789264201118-en.

OECD. (2015). PISA, students, computers and learning: Making the connection. Paris: OECD Publishing. Doi: https://doi.org/10.1787/9789264239555-en.

OECD, & INEP. (2014). Relatório nacional PISA 2012 - resultados brasileiros. Ministério da Educação. São Paulo: Ministério da Educação. Retrieved from http://download.inep.gov.br/ acoes_internacionais/pisa/resultados/2014/relatorio_nacional_pisa_2012_resultados_brasileiros.pdf.

Özcan, Z. Ç. (2015). The relationship between mathematical problem-solving skills and self-re- gulated learning through homework behaviours, motivation, and metacognition. Internatio- nal Journal of Mathematical Education in Science and Technology, 47(3), 408–420. Doi: https:// doi.org/10.1080/0020739X.2015.1080313.

Pereira, M. C. (2010). Desempenho educativo e igualdade de oportunidades em Portugal e na Europa: O papel da escola e a influência da família. Boletim Económico - Banco de Portugal, 16(4), 25–48. Retrieved from https://www.bportugal.pt/pt-PT/EstudosEconomicos/Publica- coes/BoletimEconomico/BEAnteriores/Documents/bol_inverno10_p.pdf.

Pinto, J., Costa, J. A., & Silva, J. C. e. (2014). Explicações, escolas e sucesso educativo: reflexão em torno da educação sombra. Indagatio Didactica, 6(4), 24–36. Retrieved from http://revistas. ua.pt/index.php/ID/article/view/3021.

Pons, X. (2011). What do we really learn from PISA? The sociology of its reception in three european countries (2001-2008)1. European Journal of Education, 46(4), 540–548. Doi: https:// doi.org/10.1111/j.1465-3435.2011.01499.x.

Prenzel, M., Kobarg, M., Schöps, K., & Rönnebeck, S. (Eds.). (2013). Research on PISA - Research outcomes of the PISA research conference 2009. Dordrecht, Heidelberg, New York, London: Springer. Doi: https://doi.org/10.1007/978-94-007-4458-5.

Projavi, Ferreira, A. S., & Lourenço, V. (2013). PISA 2012, Portugal - Primeiros resultados. Lisboa: ProjAVI Grupo de Projeto para Avaliação Internacional de Alunos. Retrieved from http://www. dgeec.mec.pt/np4/246/%7B$clientServletPath%7D/?newsId=371&fileName=PISA_Primei- ros_Resultados_PORTUGAL.pdf.

Reilly, D. (2012). Gender, culture, and sex-typed cognitive abilities. PloS One, 7(7), e39904. ht- tps://doi.org/10.1371/journal.pone.0039904.

Silva, J. C. e. (2004). A importância do estudo internacional PISA. Boletim Da Sociedade Portuguesa de Matemática, 51, 67–80.

Soares, S. S. D., & Nascimento, P. A. M. M. (2012). Evolução do desempenho cognitivo dos jovens brasileiros no PISA. Cadernos de Pesquisa, 42(145), 68–87. Doi: https://doi.org/10.1590/ S0100-15742012000100006.

Stacey, K., & Turner, R. (2015). The evolution and key concepts of the PISA mathematics frameworks. In K. Stacey & R. Turner (Eds.), Assessing mathematical literacy, the PISA experience (pp. 5–33). Heidelberg, New York, Dordrecht, London: Springer.

Stoet, G., & Geary, D. C. (2013). Sex differences in mathematics and reading achievement are inversely related: within- and across-nation assessment of 10 years of PISA data. PloS One, 8(3), e57988. Doi: https://doi.org/10.1371/journal.pone.0057988

Thien, L. M., & Ong, M. Y. (2015). Malaysian and Singaporean students’ affective characteristics and mathematics performance: evidence from PISA 2012. SpringerPlus, 4(1), 563. Doi: ht- tps://doi.org/10.1186/s40064-015-1358-z

Thomson, S., & Hillman, K. (2013). Success despite the odds? Outcomes for low-performing students in Australia. In M. Prenzel, M. Kobarg, K. Schöps, & S. Rönnebeck (Eds.), Research on PISA - Research outcomes of the PISA research conference 2009 (pp. 181–198). Dordrecht, Heidelberg, New York, London: Springer. Doi: https://doi.org/10.1007/978-94-007-4458-5.

Vandenberghe, V., & Robin, S. (2004). Evaluating the effectiveness of private education across countries: a comparison of methods. Labour Economics, 11(4), 487–506. Doi: https://doi.or- g/10.1016/j.labeco.2004.02.007.

Whittemore, R., & Knafl, K. (2005). The integrative review: updated methodology. Journal of Advanced Nursing, 52(5), 546–553. Doi: https://doi.org/10.1111/j.1365-2648.2005.03621.x.

You, Y., & Morris, P. (2015). Imagining school autonomy in high-performing education systems: East Asia as a source of policy referencing in England. Compare: A Journal of Comparative and International Education, 1–24. Doi: https://doi.org/10.1080/03057925.2015.1080115.

IR