Artigos
Recepção: 30 Dezembro 2015
Aprovação: 01 Março 2016
DOI: https://doi.org/10.5212/PraxEduc.v.11i2.0008
Resumo: Este artigo apresenta resultados de pesquisa que visa compreender as políticas curricular e de avaliação da aprendizagem em curso no Estado de São Paulo. Toma-se como referência o ano de 2007, marcado por modificações na forma de organizar o currículo da rede estadual paulista, com a implementação do currículo único em todas as escolas e pela vinculação desse currículo ao sistema de avaliação da aprendizagem. Analisam-se os documentos que dão forma ao currículo e ao processo de avaliação, definido a partir de diretrizes estabelecidas pelo SARESP. A análise dos documentos permite afirmar que, embora os fundamentos do currículo enalteçam a importância da diversidade cultural e da autonomia do professor, no cotidiano escolar, diversidade e autonomia perdem-se em meio a um processo avaliativo, que, em razão do caráter classificatório das escolas e de sua utilização como critério de remuneração dos trabalhadores da educação, acaba definindo o que deve ser ensinado. Os dados da pesquisa permitem afirmar que o SARESP assumiu o papel de indutor da política curricular no Estado.
Palavras-chave: Currículo, Avaliação, São Paulo.
Abstract: This paper presents the results of a research aimed at understanding ongoing curricular and assessment policies in the State of São Paulo. It is taken as reference the year of 2007, marked by changes in curricular organization in São Paulo public state schools with the implementation of a unified curriculum in all schools and linkage of this curriculum with the learning assessment system. Documents that shape curriculum and the assessment process defined by the guidelines established by SARESP are analyzed. The documental analysis permits stating that, although the curricular foundations praise the importance of cultural diversity and teacher autonomy, in the school routine, diversity and autonomy are lost in the midst of an assessment process that, due to the school classificatory character and its use as a criterion for education worker remuneration, ends up defining what should be taught. The survey data allow to state that SARESP took the role of curricular policy inductor in the State of São Paulo.
Keywords: Curriculum, Assessment, São Paulo.
Resumen: Este artículo presenta los resultados de investigación destinada a la comprensión de las políticas curriculares y de evaluación del aprendizaje en curso en el Estado de São Paulo. Se toma como referencia el año de 2007, marcado por cambios en la forma de organizar el currículo de la red estatal paulista, con la implementación del currículo único en todas las escuelas y por la vinculación de este currículo con el sistema de evaluación del aprendizaje. Se analizan los documentos que conforman el currículo y el proceso de evaluación, definido con base en los delineamientos establecidos por SARESP. El análisis de los documentos permite afirmar que, aunque los fundamentos del currículo preconicen la importancia de la diversidad cultural y de la autonomía del profesor, en el cotidiano escolar, diversidad y autonomía se pierden en medio de un proceso de evaluación, que en virtud de su carácter de clasificación de las escuelas y de su uso como criterio para la remuneración de los trabajadores de la educación, termina definiendo lo que se debe enseñar. Los datos de la investigación permiten afirmar que el SARESP tomó el papel de inductor de la política curricular en el Estado de São Paulo.
Palabras clave: Currículo, Evaluación, São Paulo.
Introdução
A década de 1990, marcou um período de profundas modificações nos processos de institucionalização e de organização da sociabilidade no Brasil. Um amplo conjunto de reformas foi posto em ação como condição necessária para as mudanças sociais pretendidas pelo governo de Fernando Henrique Cardoso. Essas reformas - econômica, da previdência, educacional e do Estado - representavam no plano interno a atualização de um movimento maior, cuja origem pode ser tributada à crise de acumulação que atinge o capitalismo a partir dos anos 1970.
A ação reformista do governo de Fernando Henrique Cardoso procurou, no caso da educação, criar as condições para a construção de um consenso nacional quanto a seus rumos. Os documentos oficiais procuraram apresentar-se dotados de unidade e de universalidade e, dessa forma, isentos de críticas e de questionamentos. Dotados de forte diretividade, os documentos oficiais sinalizavam para a reconfiguração do campo educacional em consonância com as mudanças na economia, no trabalho e nas relações sociais. Procuravam, desse modo, responder às demandas postas pela crise do capitalismo.
O intenso processo de mudanças na legislação educacional apontava, no plano legal, para profundas transformações na organização e na realização do trabalho educativo. Assim, no contexto de elaboração das reformas, diferentes dimensões da prática escolar foram profundamente modificadas à medida que as reformas iam normatizando novas formas de estruturar o currículo, de pensar o processo de avaliação, de organizar a gestão educacional, dimensões que propunham uma nova forma de conceber o trabalho educativo. A sanha reformista foi apresentada como condição necessária para o processo de modernização da educação e do país.
Passados os anos dos governos de Fernando Henrique Cardoso (FHC) e Lula da Silva e já no contexto do governo de Dilma Rousseff, a manutenção quase que total dos princípios norteadores das reformas dos anos 1990 é indicativo de que ela é consensual para o conjunto das forças políticas que ocuparam os espaços de poder no Brasil contemporâneo. Entretanto, em que pese esse consenso, as avaliações realizadas pelo Ministério da Educação e pela Secretária de Estado da Educação de São Paulo mostram que os resultados dessas reformas não alteraram a situação de forte comprometimento do ensino-aprendizagem. Os resultados apresentados pelos alunos nessas avaliações mostram que a educação pública em São Paulo pouco ou quase nada melhorou nesse período.
Diante desse contexto, temos no Estado de São Paulo um novo capítulo dessa saga reformista. No governo Serra (2007-2010), e contando com os mesmos quadros orgânicos que sustentaram as ações educacionais no governo FHC, tem início um novo ciclo reformista assentado na mesma tese: a redenção social por meio da redenção da educação. A partir de 2007, a Secretaria de Estado da Educação lança o projeto São Paulo faz escola com o objetivo de mudar o perfil e os indicadores da educação paulista, que se encontravam entre os piores do país.
Tendo em vista esse contexto, iniciamos, em 2009, um processo de investigação que se estende até os dias de hoje, com o objetivo de compreender esse processo no sentido político, como política educacional. Para tanto, definimos três eixos de investigação que formam a base da reforma: as dimensões avaliativa, curricular e gestionária. Dessa forma, a partir dos fundamentos que sustentam no plano pedagógico a proposta de reforma, objetivamos entender o seu significado político e seu impacto no cotidiano, na cultura e na prática escolar.
A pesquisa registrou em seu relatório final que, de um lado, a reforma objeto do estudo tem amplitude temática que extrapola a delimitação então realizada; e, de outro, continuou a ser implementada nas suas ideias básicas incorporando, agora, as políticas criadas pelo atual governo estadual, na gestão de Geraldo Alckmin.
A reforma objeto de nossa preocupação teve início com o Plano de Educação do governo Serra (2007-2010) que tinha na direção da Secretaria da Educação inicialmente a Professora Maria Helena Guimarães de Castro e depois o Professor Paulo Renato Sousa, os mesmos educadores que participaram da concepção e da execução das políticas educacionais do governo Fernando Henrique Cardoso (FHC) e que, assim, contribuíram com a institucionalização dos fundamentos da reforma educacional brasileira na década de 1990. No atual mandato do governador Geraldo Alckmin, a Secretaria da Educação foi dirigida até recentemente pelo Professor Herman Jacobus Cornelis Voorwald, recentemente demitido em razão da reação de alunos, pais e professores à proposta de reorganização da rede estadual de ensino por ciclos e o anunciado fechamento de diversas escolas.
A política educacional construída pelo governo paulista desde 2007 está articulada em quatro eixos:
a) Padrões Curriculares, com implantação de uma base curricular comum para todas as escolas da rede estadual, com destaque para os seguintes programas dos ensinos Fundamental e Médio: Ler e Escrever (1ª a 4ª séries do Ensino Fundamental) e São Paulo Faz Escola (5ª a 8ª séries do Ensino Fundamental e Ensino Médio).
b) Avaliação e Metas de Qualidade, que reformulou o Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (SARESP) e criou o Índice de Desenvolvimento da Educação do Estado de São Paulo (IDESP), que fixou metas por escola e segmento de ensino.
c) Programa de Incentivo aos profissionais da Educação, por meio de Bônus por Resultados, que premia o desempenho da equipe da escola.
d) Mais Qualidade na Escola, com inovações nas carreiras do magistério, que se apoia em dois pilares: nova forma de ingresso e Escola de Formação de Professores e no Programa Valorização pelo Mérito.
A esse conjunto de políticas juntam-se, agora, outras que estão sendo propostas e executadas. Dentre as mudanças recentemente introduzidas e que certamente produzirão consequências na prática educacional e escolar, podemos destacar a reforma na estrutura organizacional da Secretaria da Educação, efetuada em 2011, que criou um novo ordenamento político-organizacional e que, ao extinguir os órgãos existentes e criar novos, revela uma mudança profunda na concepção do papel do Estado na condução da educação pública. As mudanças na organização do calendário escolar, em face de alterações nos períodos de férias e recessos docentes; a discussão de um projeto de reforma curricular, denominado Ensino Médio - matriz curricular que objetiva substantiva mudança na concepção desse nível de ensino da Educação Básica -, são também elementos que fazem parte desse processo.
Em síntese, diante de um contexto de profundas mudanças na organização do espaço escolar, nossa pesquisa almeja compreender quais os fundamentos e como as reformas educacionais em curso no Estado de São Paulo, consubstanciadas no denominado Programa de Ação do governo para a educação, e, mais detalhadamente, no programa São Paulo faz escola, concretizam-se nas escolas públicas estaduais localizadas nos municípios da Grande São Paulo. O foco desta pesquisa está centrado na compreensão dos fundamentos que orientam os documentos gerais que são utilizados como referência no processo de implementação da reforma, da apropriação que as escolas e seus agentes fazem das políticas públicas formuladas pelos reformadores, em nome do Estado, e a busca do conhecimento de como se dá a objetivação das políticas na prática escolar.
O projeto tem um recorte que contempla subprojetos correspondentes, cada um deles, às dimensões do processo educativo selecionadas em função da especificidade do campo de pesquisa do grupo por ele responsável. Foram contemplados estudos nas dimensões avaliativa, curricular e gestionária. O propósito de pesquisar o processo de implementação da reforma e suas consequências no trabalho escolar encontra suas justificativas nas próprias políticas, em face da natureza polêmica das ações que têm sido propostas e implementadas, algumas de questionável eficácia e legalidade. Temos clareza da dificuldade de refletir sobre um objeto que está em movimento. O desenvolvimento da reflexão crítica, neste caso, mostra-se ao mesmo tempo como um desafio e como uma necessidade para iluminar a apreensão do sentido das políticas governamentais no campo da educação.
Neste texto, apresentamos o resultado de nossa análise dos documentos que fundamentam dois aspectos centrais desse processo de reforma: a proposta curricular implantada em 2008, que passou a ser denominada de currículo oficial em 2010, e o sistema de avaliação do rendimento escolar, realizado pelo SARESP. Nosso objetivo é mostrar a forma como tem se dado a articulação entre o sistema de avaliação e a implementação do currículo oficial.
O texto está organizado da seguinte forma: em um primeiro momento, apresentamos e discutimos fundamentos do currículo oficial paulista. Ao discutir seus fundamentos, procuramos situá-lo no contexto do debate teórico mais amplo, a incorporação que faz da pedagogia das competências, bem como sua proximidade com as concepções pós-críticas de currículo. A seguir, apresentamos os fundamentos do SARESP, o sistema de avaliação da aprendizagem e discutimos como as modificações que ocorreram em sua organização, a partir de 2008, tornaram-no responsável pela indução da política curricular definida pela Secretaria de Estado da Educação de São Paulo (SSE/SP), com a imposição de sérios limites ao trabalho dos professores e dos coordenadores pedagógicos.
Os fundamentos político-ideológicos do currículo oficial paulista
O argumento apresentado para justificar era o de que a forma de organização curricular da rede estadual, definida pelos documentos da Coordenadoria de Estudos e Normas Pedagógicas (CENP)1, não atendia mais as necessidades atuais da rede. Uma série de problemas colocavam-se especificamente para os alunos que trocavam de unidade escolar. Afirmava-se que essa situação deixava os alunos em situação difícil, pois cada unidade escolar organizava seu currículo de forma específica. Com isso, a mudança de unidade escolar transformava-se em obstáculo para que os alunos tivessem um itinerário curricular comum. Em épocas de intensa avaliação dos sistemas educacionais e de resultados muito ruins, esse argumento foi utilizado pela Secretaria da Educação do Estado de São Paulo (SEE-SP) para explicar os baixos indicadores obtidos pela rede escolar estadual paulista.
Diante desse quadro, a solução apresentada consistia na elaboração de uma nova forma de organização curricular a ser implementada pelas escolas. Assim, a SEE-SP apresentou sua proposta de reorganização curricular em 2007 e a implementou em toda rede estadual em 2008. O processo de reorganização curricular da rede estadual de educação fez parte de um programa de ação do governo de José Serra denominado Projeto São Paulo faz escola. Ambicioso e amplo, este apresentava um diversificado conjunto de decisões, estabelecidas por normas legais, na esfera da organização didática das escolas, das atribuições funcionais dos seus trabalhadores e, especialmente, no estabelecimento de procedimentos didático-pedagógicos do funcionamento das escolas e do currículo.
Objeto de várias controvérsias, a proposta unificava o currículo por meio de uma série de cadernos, tanto do professor como do aluno. Os cadernos estabelecem o cronograma das aulas, os temas, os conteúdos, os objetivos e a avaliação. Uma ação anunciada como de melhoria da educação atuava por meio de intenso processo de centralização e controle curricular. Como parte do programa, a SEE-SP vinculou objetivos e conteúdos do currículo ao SARESP e condicionou o pagamento de bônus dos professores aos resultados dessa avaliação. Desde a sua criação em 1996 até os dias atuais, o SARESP é o exame estadual de referência da aprendizagem educacional básica paulista. Alunos do 2º, 3º, 5º, 7º e 9º anos do Ensino Fundamental e da 3ª série do Ensino Médio têm seus conhecimentos avaliados por meio de provas com questões de Língua Portuguesa, Matemática, Ciências Humanas, Ciências da Natureza e redação. Os resultados desse processo constituem-se em um dos itens a serem considerados para o pagamento do bônus anual a professores e a gestores.
A SEE-SP criou por meio de sua política um processo de indução em que aos professores somente era permitido aceitar a reforma curricular. Em 2010, a proposta curricular passou a ser denominada de currículo oficial, dando sequência as suas diretrizes e aos seus objetivos.
O currículo oficial está estruturado com base em seis princípios norteadores. Em linhas gerais, o documento que apresenta a proposta curricular traça uma breve análise dos problemas que encerram a educação no Brasil. Sem qualquer aprofundamento, o texto menciona expressões como exclusão, qualidade, universalização, permanência, aprendizagem, diversidade, autonomia, sentido e significado. Por fim, ele apresenta os princípios norteadores do currículo, especificados a partir de expressões amplas como uma escola que também aprende, o currículo como espaço de cultura, as competências como referência, a prioridade para a competência da leitura e da escrita, a articulação das competências para aprender e com o mundo do trabalho (SÃO PAULO, 2008). Faremos a seguir uma breve análise desses princípios procurando estabelecer as proximidades e os vínculos que ele apresenta com as questões teóricas tratadas na primeira parte deste texto.
A incorporação ao debate escolar de expressões como aprender não é recente. O que ressaltamos aqui é o quanto elas se tornaram lugar comum a partir da disseminação intensa do Relatório organizado por Delors (1998) a pedido da Unesco. Seus fartamente mencionados quatro pilares da educação para o século XXI foram rapidamente incorporados e disseminados nos mais amplos espaços do debate educacional. Assim, não soa estranha sua presença e incorporação nas propostas curriculares oficiais de vários países, especialmente no Brasil.
Tendo como referência analítica os pressupostos do Relatório Delors, a proposta curricular da SEE-SP inicia sua apresentação afirmando que os processos tecnológicos são desencadeadores de uma nova dinâmica na estrutura, na organização e na distribuição do conhecimento. Com isso, o currículo oficial precisa reposicionar o papel a ser desempenhado pela escola. Em uma postura que procura ser crítica da escola tradicional e da centralidade conferida ao professor, a concepção de escola definida incorpora o princípio de que, mais do que ensinar, a escola também deve aprender a ensinar. A responsabilidade pela aprendizagem, partilhada pela equipe gestora e pelos professores, deve ser mediada pela problematização e pela significação dos conhecimentos sobre sua prática (SÃO PAULO, 2008). Nesse trecho, fica explicitada a preocupação em vincular aquilo que deve ser ensinado ao cotidiano que cerca o aluno. Por meio do processo de significação do conhecimento, são estabelecidos, inicialmente, os vínculos dessa escola que também aprende com a contextualização no mundo do trabalho. Em uma afirmação que não deixa dúvidas acerca do descentramento do papel do professor no processo escolar, é feita a seguinte afirmação:
De acordo com essa concepção, a escola deve aprender parte do princípio de que ninguém conhece tudo e de que o conhecimento coletivo é maior que a soma dos conhecimentos individuais, além de ser qualitativamente diferente. Esse é o ponto de partida para o trabalho colaborativo, para a formação de uma "comunidade aprendente", nova terminologia para um dos mais antigos ideais educativos. A vantagem é que hoje a tecnologia facilita a viabilização prática desse ideal. (SÃO PAULO, 2008, p. 11).
Temos aqui várias expressões que relativizam o processo escolar. O protagonismo da ação pedagógica é definido a partir de uma grande indefinição. Afirmações de que "ninguém conhece tudo" e o "conhecimento coletivo é maior que a soma dos conhecimentos individuais" possibilitam-nos algumas considerações preliminares sobre o que venha a ser "comunidade aprendente". O descentramento do professor e a relativização da definição do que é "saber" explicitam uma compreensão de escola em que o que será ensinado não é e nem pode ser definido a priori.
Uma das posturas mais conhecidas do pensamento pós-moderno tem sido o questionamento do Iluminismo, mais especificamente da razão iluminista e de sua pretensão de universalidade. Nas teorias pós-críticas do currículo, isso aparece na desconstrução do protagonismo do professor no processo de aprendizagem. Quem mais no universo escolar contemporâneo incorporou o domínio do saber e a missão de transmitir a cultura? O protagonismo do professor decorre de uma concepção de aprendizagem que afirma que o conhecimento escolar e sua transmissão se dão por processos de mediação - mediação entre o saber historicamente acumulado e a escola. Descentrar o papel do professor é também fazer a crítica à ideia de universalidade e de totalidade do conhecimento.
Se articularmos essas premissas com a menção anteriormente feita ao conhecimento como processo de construção de significados, temos, então, uma perspectiva de escola, de professor e de aprendizagem como sistemas simbólicos contingentes, produto de diferentes discursos e agentes políticos. Escola, professor e aprendizagem, embora definidos a priori, o são de uma forma em que a mediação da significação impede qualquer definição de fato, uma situação aparentemente sem definição. A definição pretendida dá-se mediada por processos de significação, mas que decorrem da significação dos processos atribuídos pelos sujeitos. Estes, por sua vez, são portadores de valores sociais e culturais que derivam de processos de significação e, ao mesmo tempo, também participam da construção desses significados. Fica assim impossível definir relações de poder de forma hierárquica. O poder, nesse caso, somente pode ser apanhado nos processos de construção de significados pelos sujeitos, ou seja, somente por meio de relações.
A articulação entre currículo e cultura defendida no currículo oficial parte da premissa de que "[...] currículo é a expressão de tudo o que existe na cultura científica, artística e humanista, transposto para uma situação de aprendizagem e ensino" (SÃO PAULO, 2008, p. 13). A expressão do currículo como "tudo que existe na cultura" permite elaborarmos questões a partir de elementos já discutidos anteriormente neste texto. Quem define o que é esse "tudo que existe"? Se situarmos essa definição na abordagem feita por Raymond Williams (1961) acerca da tradição seletiva e articularmos à questão feita por Michael Apple - "De quem é o conhecimento mais importante?" -, temos elementos para pensarmos as relações de poder presentes na construção desse currículo. Em passagem definidora da compreensão pretendida de currículo é feita a seguinte afirmação:
Currículo é a expressão de tudo o que existe na cultura científica, artística e humanista, transposto para uma situação de aprendizagem e ensino. Precisamos entender que as atividades extraclasses não são extracurriculares quando se deseja articular a cultura e o conhecimento. Neste sentido todas as atividades da escola são curriculares ou não serão justificáveis no contexto escolar. Se não rompermos essa dissociação entre cultura e conhecimento não conseguiremos conectar o currículo à vida - e seguiremos alojando na escola uma miríade de atividades "culturais" que mais dispersam e confundem do que promovem aprendizagens curriculares relevantes para os alunos. (SÃO PAULO, 2008, p. 8, grifo nosso).
Nesse trecho, há uma série de aproximações e de distanciamentos com o debate teórico sobre currículo. Na primeira frase do parágrafo, temos uma clássica definição de currículo tradicional, que reforça a dimensão da cultura e da ciência e sua transformação em conhecimento escolar. Ao defender a necessidade de maior articulação entre cultura e conhecimento, o currículo oficial critica a presença na escola de "[...] uma miríade de atividades 'culturais' que mais dispersam e confundem do que promovem aprendizagens curriculares relevantes para os alunos" (SÃO PAULO, 2008, p. 8). Quais seriam essas atividades culturais que mais dispersam e confundem? Em contrapartida, quais seriam os elementos que estabelecem a articulação entre cultura e conhecimento?
A contribuição dos estudos culturais nesse debate permite diversos questionamentos. Estaríamos diante de uma proposta curricular que entende cultura como unicamente aquela que tem sido definida como cultura erudita? Se sim, quais vozes e discursos são legitimados, assim como quais valores e discursos são silenciados? A decisão do que é relevante culturalmente para o aluno contempla aquilo que ele considera relevante? A definição do que é relevante em termos culturais é de quem? O que significa "conectar o currículo à vida"? Temos aqui uma pequena mostra de como a pretensão de construir uma proposta curricular que articule as necessidades da formação objetiva para a vida do trabalho alienado com nuances de uma formação cultural que contempla a diversidade e a diferença mostra-se abstrata e contraditória.
A preocupação em articular na escola a formação e a cultura e, assim, criar espaços de prazer na aprendizagem é salutar. O problema é que essa articulação se dá a partir de uma perspectiva em que prazer é definido a partir do hedonismo que caracteriza a sociedade capitalista. Se, como afirma Eagleton (2005, p. 18-19) no capitalismo puritano, "[...] uma vez que tivéssemos adquirido o gosto pela coisa, provavelmente nunca mais seríamos vistos em nosso local de trabalho", o capitalismo consumista de hoje é mais esperto e "[...] nos persuade a sermos indulgentes com nossos sentidos e a nos gratificar tão despudoradamente quanto possível". Como articular o prazer pela cultura sem produzir o desprazer que um currículo articulado com a vida do trabalho traz?
A saída para articular a dimensão do prazer e a objetividade da formação para o trabalho somente pode dar-se por meio de uma proposta que valorize a cultura como meio de formação do cidadão ou, como defende a SEE-SP, a cidadania cultural. Assim:
Quando o projeto pedagógico da escola tem entre suas prioridades essa cidadania cultural o currículo é a referência para ampliar, localizar e contextualizar os conhecimentos que a humanidade acumulou ao longo do tempo. Então, o fato de uma informação ou um conhecimento ser de outro lugar, ou de todos os lugares na grande rede de informação, não será obstáculo à prática cultural resultante da mobilização desse conhecimento nas ciências, nas artes e nas humanidades. (SÃO PAULO, 2008, p. 8).
A dimensão do prazer pode aflorar desde que ela não seja obstáculo à mobilização do conhecimento definido e objetivado nas ciências, nas artes e nas humanidades. Libertado de uma série de "[...] atividades 'culturais' que mais dispersam e confundem, do que promovem aprendizagens curriculares relevantes para os alunos" (SÃO PAULO, 2008, p. 8, grifo do autor), o currículo como espaço de cultura ganha legitimidade por meio da definição do que é relevante socialmente. A tradição seletiva encarrega-se de, naturalmente, estabelecer os padrões culturais do que é relevante. A saturação do senso comum torna hegemônico o conhecimento que emerge de contextos distintos. O conhecimento mais importante pode até surgir de contextos distintos, desde que sejam contextos distintos saturados de senso comum. O discurso oficial anuncia-se como aberto ao dissenso, mas, tendo ou não compreensão, reforça ainda mais o consenso. Legitima mecanismos de reprodução no espaço escolar com o pretenso discurso da prevalência de "contextos distintos".
Cabe aqui uma menção importante acerca da proposta. Ela foi organizada e oficializada tendo como um de seus objetivos a unificação curricular, ou seja, criar meios para que todas as escolas e os professores da rede oficial do Estado de São Paulo tivessem acesso ao mesmo tempo ao currículo oficial. Uma das justificativas alegadas para essa ação era a de haver grande dispersão no que era ensinado na rede, criando problemas para alunos e professores. Essa foi a razão anunciada. Em nosso entender, as razões podem até ser essas, mas elas criam outras condições. Retomemos aqui a questão para nós central neste debate: o que é aprendizagem relevante? Relevante são os conhecimentos que a humanidade produziu ao longo de sua história? Segundo a proposta, sim, mas desde que tomado como instrumental, mobilizado em competências e capaz de reforçar o sentido cultural da aprendizagem.
Em nossa compreensão, essa perspectiva limita a possibilidade de formação crítica. Se a articulação entre cultura e currículo objetiva "[...] formar crianças e jovens para que se tornem adultos preparados para exercer suas responsabilidades (trabalho, família, autonomia etc.) e para atuar em uma sociedade que muito precisa deles" (SÃO PAULO, 2008, p. 7), a preocupação em estabelecer uma lógica de adaptação social, fundada no pensamento conservador, é explícita. A perspectiva de transformar o currículo em um meio de formar crianças e jovens preparados para exercer suas responsabilidades naturaliza a articulação entre formação e vida, sendo vida entendida como a sociedade capitalista e responsabilidade a condição de ser do trabalhador. Não há aqui espaço algum para a crítica.
Tendo em vista a anunciada intenção de "promover competências", a SEE-SP explicita que
[...] competências e habilidades podem ser consideradas em uma perspectiva geral, isto é, no que têm de comum com as disciplinas e tarefas escolares, ou então no que têm de específico. Competências, neste sentido, caracterizam modos de ser, raciocinar e interagir que podem ser depreendidos das ações e das tomadas de decisão em contextos de problemas, tarefas ou atividades. Graças a elas podemos inferir se a escola como instituição está cumprindo bem o papel que se espera dela no mundo de hoje. (SÃO PAULO, 2008, p. 12).
A opção pelas competências é justificada na perspectiva de uma educação que valorize a formação do cidadão e a democracia. Com o acesso universalizado, a tendência é a educação incorporar a heterogeneidade brasileira. Assim, para ser democrática, a escola precisa ser acessível, diversa e unitária. Como garantir a diversidade e assegurar a unidade? A dicotomia entre o universal e o particular está posta. A resposta dada a essa questão ilustra, e muito, outros caminhos definidos para o currículo. No documento, tal situação é encaminhada da seguinte forma:
Dificilmente essa unidade seria obtida com ênfase no ensino, porque é quase impossível, em um país como o Brasil, estabelecer o que deve ser ensinado a todos, sem exceção. Por isso optou-se por construir a unidade com ênfase no que é indispensável que todos tenham aprendido ao final do processo, considerando a diversidade. Todos têm direito de construir, ao longo de sua escolaridade, um conjunto básico de competências, definido pela lei. Este é o direito básico, mas a escola deverá ser tão diversa quanto são os pontos de partida das crianças que recebe. Assim, será possível garantir igualdade de oportunidades, diversidade de tratamento e unidade de resultados. Quando os pontos de partida são diferentes, é preciso tratar diferentemente os desiguais para garantir a todos uma base comum. (SÃO PAULO, 2008, p. 10).
As denominadas competências tornaram-se referência comum nos debates sobre educação e nos processos de regulação curricular no Brasil. Dessa forma, a proposta curricular paulista não inova, expressando apenas certo consenso acerca dos encaminhamentos do currículo.
O caráter polissêmico do conceito de competências requer que a análise e a crítica feitas mostrem a estreiteza com que tal pedagogia concebe a formação humana. Iniciemos pela definição do conceito de competências. Seu uso no contexto das ciências sociais designa os conteúdos particulares de cada qualificação em uma organização de trabalho determinado. Para os psicólogos, o termo, às vezes, é entendido como aptidão, habilidade ou capacidade. Contudo, quais as implicações que a noção de competências tem para a educação?
O discurso sobre as competências objetiva substituir a forma de compreensão e importância das práticas educacionais, possibilitando a "[...] transição da cultura do ensino para a da aprendizagem" (SÃO PAULO, 2008, p. 10). Estabelece como prioridade os meios, os métodos que possibilitam a aprendizagem, secundarizando a importância do conhecimento. Ao enfatizar o "conjunto básico de competências, definido pela lei", em nosso entendimento, aprofunda-se o discurso ideológico que situa a escola como espaço de aprendizagem centrada em processos e meios que levam a novas aprendizagens. Parte do suposto que o problema da escola não é mais com o conhecimento, mas sim o de criar as condições para que os alunos possam aprender a apropriar-se do conhecimento. Nesses termos, o discurso que enfatiza as competências apresenta-se sempre articulado com a tese da sociedade do conhecimento.
A articulação desses elementos - sociedade do conhecimento, pedagogia das competências e o aprender a aprender - forma a linha de frente do discurso ideológico desencadeado pela Unesco na década de 1990 e que se transformou na pauta comum de grande parte das propostas de reforma curricular. O elemento basilar que norteia esse processo é o discurso que defende a necessidade de formar um novo trabalhador apto e capaz de responder às novas demandas do mundo do trabalho. Nesse contexto, em que pese toda a reverência feita à cidadania e à formação crítica, o que se objetiva é dar conta das exigências postas pela organização do trabalho.
A transformação da pedagogia das competências em diretriz curricular cria campos de tensão. A prática social que lhe dá origem - a sociedade capitalista - é apropriada de forma naturalizada, o que impede que a crítica dos valores sociais que informam essas práticas seja feita. Nesse sentido, embora o currículo por competências seja anunciado como a "[...] transição da cultura do ensino para a da aprendizagem" (SÃO PAULO, 2008, p. 10), ao não considerar as implicações dessa mudança no contexto de uma sociedade em que o acesso ao conhecimento não é igual, ele pode estar reforçando mecanismos de reprodução dessa desigualdade.
Se, como é reconhecido no documento, "[...] os pontos de partida são diferentes, e é preciso tratar diferentemente os desiguais para garantir a todos uma base comum" (SÃO PAULO, 2008, p. 10), tratar diferentemente os desiguais não implicaria fortalecer os mecanismos de acesso ao conhecimento? Sabendo que a diversidade é grande, mas principalmente a de acesso ao conhecimento, buscar a unidade por meio de "um conjunto básico de competências definido pela lei" e centrar o currículo na cultura da aprendizagem não é incorrer em uma prática anunciada de naturalização da desigualdade, mesmo que se atribua à desigualdade a condição de mera diferença?
Essa breve análise do currículo oficial paulista permite-nos afirmar que ele transita entre uma concepção que valoriza a importância do espaço e da dimensão da cultura e a diversidade que caracteriza a escola pública paulista. Contudo, também valoriza a dimensão posta pela pedagogia das competências, enaltecendo sua perspectiva de formação para o trabalho e, dessa forma, processos de adaptação e de reafirmação dos contextos sociais existentes. Em nosso entender, a lógica da diversidade cultural e a perspectiva da adaptação são processos contraditórios.
Faremos a seguir problematização do sistema de avaliação da aprendizagem escolar instituído com a criação do SARESP em São Paulo. Ao fazê-lo, procuramos mostrar quais são os aspectos do currículo oficial paulista que estão sendo realçados e afirmados como os mais importantes.
Os fundamentos do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo
Para a construção das referências que orientam as Matrizes do SARESP, especialistas em avaliação, convidados pela SEE/SP, organizaram as respectivas propostas iniciais das áreas curriculares a serem avaliadas pelo exame, tendo por base a Proposta Curricular do Estado de São Paulo, os documentos que balizam as avaliações nacionais e internacionais, bem como o Sistema Nacional de Avaliação da Educação Básica (SAEB) e a Prova Brasil.
Segundo a SEE/SP, a primeira versão dessas matrizes foi apresentada aos autores da Proposta Curricular para a realização da primeira leitura crítica. Em seguida, especialistas da antiga Coordenadoria de Estudos e Normas Pedagógicas da SEE/SP (CENP) realizaram uma nova leitura crítica e fizeram sugestões que impuseram inúmeros ajustes. As matrizes foram discutidas em reuniões técnicas, em formato de Oficinas Pedagógicas das áreas envolvidas na avaliação, representando todas as Diretorias Regionais, convocadas oficialmente. Desse trabalho, foi que resultou a proposta final das Matrizes de Referência do SARESP (SEE/SP, 2010).
No documento afirma-se que é fundamental definir uma Matriz de Referência em situações de aprendizagem e ensino e, por esse intermédio, avaliar, mesmo que de modo indireto e inferencial, a ocorrência de efetiva aprendizagem. O texto menciona que, em uma avaliação em larga escala, avalia-se a evolução da qualidade do sistema público do ensino de São Paulo, com a indicação das competências e das habilidades básicas a serem desenvolvidas pelos alunos em cada etapa da escolarização, envolvendo todos os atores internos do sistema de ensino e toda comunidade externa. Reafirma-se, também, o objetivo da SEE/SP de monitorar o desenvolvimento do plano de metas, vinculado à melhoria da qualidade da educação de maneira clara e objetiva, de tal forma a promover os ajustes necessários para que os alunos tenham acesso à construção dos conhecimentos a que têm direito. Nesse sentido, a indicação das habilidades a serem avaliadas em cada etapa da escolarização deve orientar a elaboração das questões das provas para que os instrumentos possam estar a serviço do que realmente se quer avaliar.
Segundo a SEE, o SARESP contém três aspectos fundamentais: ele se refere à verificação de conteúdos disciplinares, por meio da utilização de habilidades; à avaliação de competências, por intermédio destes dois indicadores; e justifica-se pelo compromisso assumido no currículo nas escolas públicas do Estado de São Paulo. Para a equipe que elaborou a Matriz de Referência do SARESP, a finalidade mais importante do exame é o seu poder de sinalização das estruturas básicas de conhecimentos a serem construídas pelos alunos, por meio de diferentes componentes curriculares em cada etapa da escolaridade básica.
Na Matriz de Referência do SARESP, afirma-se que ela representa apenas um recorte dos conteúdos do currículo e privilegia algumas competências e habilidades a elas pertencentes. Não é uma avaliação com a intenção de abarcar todas as possibilidades de aprendizagem que o currículo propicia. Essa avaliação evidencia as estruturas conceituais mais gerais das disciplinas e também as competências mais gerais dos alunos. Por esse motivo, segundo a SEE/SP, o SARESP não pode ser confundido com o currículo. Embora esteja em consonância com o currículo, ela não é o currículo, possui fundamentos próprios e define-se como um sistema de avaliação e não como indicadora de conteúdos.
No documento, é feita a afirmação de que o que se pode verificar é o quanto as habilidades dos alunos, desenvolvidas ao longo do ano letivo, no cotidiano da classe e segundo as diversas situações propostas pelo professor, puderam se aplicar na situação de exame e, sobretudo, no caso de uma avaliação externa, em que tantos outros fatores estão presentes, favorecendo ou prejudicando o desempenho do aluno. Nesse caso, trata-se de uma situação de comparação em condições equivalentes e que, por isso, põe em jogo um conjunto de saberes, nos quais o aspecto cognitivo (que está sendo avaliado) deve considerar tantos (tempo, expectativas, habilidade de leitura e cálculo, atenção, concentração etc.).
Afirma-se também que o SARESP avalia vários aspectos cognitivos: saber inferir, atribuir sentido, articular partes e todo, excluir, comparar, observar, identificar, tomar decisões, reconhecer, fazer correspondências e, do ponto de vista afetivo, avalia a capacidade do aluno em sustentar um foco, ter calma, não ser impulsivo, ser determinado, confiante, aperfeiçoar recursos internos e, ainda do ponto de vista social, saber seguir regras, ser avaliado em situação coletiva em que envolva cooperação e competição, respeito mútuo etc.
Na defesa do SARESP, afirma-se que, mesmo partindo de uma amostra pequena, ele consegue avaliar as mais diversas competências que os alunos possam desenvolver e apresentar em forma de habilidades no exame. Esse fato, segundo a SEE, desconstrói a ideia de que só é possível fazer uma avaliação justa quando a amostra é total ou estrutural. Em relação às competências cognitivas que o SARESP avalia, elas são observar, realizar e compreender.
Em 2007, diversas mudanças foram introduzidas no SARESP. Segundo a SEE/SP, o objetivo era torná-lo cada vez mais adequado tecnicamente, possibilitando, com isso, o acompanhamento da evolução da qualidade da educação oferecida na Educação Básica paulista.
A SEE, ao estabelecer os objetivos do SARESP, tendo como referência o currículo oficial paulista, criou uma lógica em que as escolas foram pressionadas a trabalharem o currículo de forma sistemática, tendo em vista a avaliação externa, a relação dessa avaliação com o IDESP e deste com parte do bônus pago aos trabalhadores da educação.
As mudanças na avaliação SARESP começaram a ser implantadas a partir do ano de 2008. A partir desse ano, elas têm ocorrido em todas as áreas do currículo. Anualmente, são avaliadas as disciplinas de Língua Portuguesa e Matemática e, anual e alternadamente, as áreas de Ciências da Natureza (Ciências Física, Química e Biológica) e Ciências Humanas (História e Geografia).
A criação do IDESP, em 2008, no processo da reforma, contribuiu para a sistematização e a realização do SARESP, oferecendo, por meio de uma série infindável de cálculos, o resultado da aprendizagem por unidade escolar. Para a SEE, a partir desses dados, foi possível avaliar em que nível as escolas se encontram e quais seriam os desafios em relação à aprendizagem. O diagnóstico dos problemas em educação é um caminho importante para promover as mudanças desejadas, o problema é a utilização de escalas numéricas e dados gerais sem a devida análise.
O IDESP mostra e escancara os resultados de um sistema de ensino que precisa ser melhorado em relação à qualidade da aprendizagem. No entanto, o faz desconsiderando as condições que produziram essa situação. Assim, mais do que mostrar os problemas das escolas, ele penaliza essas escolas. A divulgação dos dados obtidos pela imprensa não é precedida de discussão acerca das razões que explicam os dados. Via de regra, a justificativa para tais resultados é debitada a problemas de gestão das escolas.
Antes da criação do IDESP, a divulgação do SARESP era feita de forma generalizada e o seu resultado não estava condicionado por metas e incentivos econômicos. Para a SEE/SP, os incentivos financeiros a toda equipe escolar não são no sentido de premiar ninguém e nem tampouco penalizar. Antes da reforma de 2007, existia a premiação de escolas que se destacassem, com os alunos melhores classificados sendo contemplados com viagens e outras premiações destinadas às escolas, bem como material de apoio pedagógico etc. A partir de 2007, a remuneração sobre o resultado do SARESP passou a ser paga aos agentes do processo educacional e a ser sistematizada em forma de bônus, de acordo com o índice de cada unidade escolar. Com isso a avaliação assume um caráter explicitamente classificatório, de ranqueamento das escolas e dos docentes.
Embora se compreenda o SARESP como um exame importante, a escola realiza o processo de ensino aprendizagem de forma bastante diversificada. A escola expressa-se por meio de leitura, de oralidade, de crítica, de construções, de desenhos etc., portanto a avaliação deveria também oferecer tais condições para o aluno na hora da prova. Os testes que são realizados no SARESP representam uma forma superficial de avaliar, pois não medem as reais situações de aprendizagem, porque são recortes, pedaços mínimos da aprendizagem que ocorre na escola e no processo educacional.
Da mesma forma, a orientação no documento de referência do SARESP é a de que os testes sigam um padrão de acordo com as questões identificadas no caderno de estudo do aluno e reforçados no caderno de orientação do professor. Entendemos que esse mecanismo de avaliação não permite ao aluno o momento da criação. Condicionado aos testes, o aluno passa a respondê-los de forma automática, pouco criativa. Embora o professor tenha a liberdade de usar outros materiais para desenvolver suas aulas, ele não poderá esquecer que a sua escola será avaliada pelo conteúdo do caderno do aluno, prescrito no currículo e avaliado por meio do exame SARESP. Esse formato do SARESP desconsidera princípios que são anunciados no currículo oficial, como a diversidade entre os alunos e a necessidade de tempos diversificados a cada realidade escolar.
A preocupação de todos, na unidade escolar, gestores, professores e alunos, em trabalhar os conteúdos dos cadernos que serão avaliados, atropela o projeto pedagógico da escola e este perde o seu sentido de existir, uma vez que a escola precisa cumprir a meta. Entendemos, com isso, que as mudanças que foram feitas a partir do ano de 2007 no SARESP não foram somente para ajustar o exame a questões de aprendizagem, foram, também, no sentido de manter por meio da avaliação o controle de todo o sistema educacional.
Considerações finais
Vivemos tempos em que a ação do Estado assumiu contornos estranhos. Por um lado, ela afirma a necessidade de descentralização dos processos decisórios e de maior responsabilização da sociedade civil. De outro, a ação cria mecanismos de controle indiretos que impossibilitam qualquer prática que fuja aos preceitos estabelecidos. No caso da educação, vivemos um momento em que essa aparente contradição se manifesta de forma total. Nunca antes na educação se falou tanto em descentralização e nunca antes tantos mecanismos de avaliação foram criados.
O objetivo, neste texto, foi mostrar, a partir de dados de pesquisa, como essa situação ocorre no Estado de São Paulo; como o tão mencionado Estado avaliador tem se manifestado. Para tanto, procuramos mostrar como o currículo oficial da rede estadual de ensino - que transita entre propostas que enaltecem as especificidades do cotidiano e situa como questão central as formas distintas de manifestação cultural, anunciando, assim, como premissa, a possibilidade de contemplar a diversidade que caracteriza as escolas da rede estadual de ensino -, é levado a adaptar-se às exigências postas por um processo de avaliação que o próprio Estado criou, o SARESP, que tem entre seus aspectos mais importantes a valorização de um processo que avalia a apropriação e o desenvolvimento de competências. Se, no primeiro caso, temos a diversidade como característica central; no segundo, temos a busca de mecanismos de avaliação que levam, por meio de uma lógica de adaptação, a um processo de uniformização das escolas.
O SARESP, instituído na reforma educacional da década de 1990, tinha objetivos com características de um processo avaliativo mais descentralizado. Ele passou, a partir da reforma curricular em 2007, a ter em seus fundamentos as características de uma avaliação mais centralizada. A mudança consiste no fato de que a orientação curricular para a Educação Básica paulista, na década de 1990, tinha como base os Parâmetros Curriculares Nacionais, documentos que orientavam a educação de acordo com as necessidades das escolas, em seu contexto local. A partir do lançamento do projeto São Paulo faz escola, no ano de 2007, a Educação Básica paulista passou a ter como orientação um currículo cujo objetivo maior passou a ser as metas a serem atingidas por cada escola da rede - metas estabelecidas por meio de indicadores definidos pelo Índice de Desenvolvimento da Educação do Estado de São Paulo (IDESP).
O SARESP passou a monitorar o plano de metas do currículo e a indicar, por meio de habilidades, quais as competências atingidas pelos alunos avaliadas nas etapas da escolarização. Com isso, ele assumiu centralidade no currículo paulista. Passou a definir todas as ações do processo educacional, desde as questões metodológicas de aprendizagem, a utilização de seu resultado para medir a qualidade do ensino-aprendizagem até o seu uso para classificar as escolas em boas ou ruins. Ele deixou de ser um instrumento utilizado para avaliar apenas a aprendizagem dos alunos e assumiu para si o papel de indicador de toda a política educacional no Estado. A orientação é que seu resultado seja consubstanciado junto à avaliação interna, aquela realizada pelo professor com seus alunos em sala de aula, para desencadear toda a política educacional no ensino básico. A avaliação passou a ter uma clara definição das expectativas da aprendizagem a serem obtidas por meio da operacionalização do currículo, que foi reestruturado com base nos princípios de cultura, de competência e de trabalho.
Os objetivos passaram a ter como direcionamento uma Matriz de Referência para cada disciplina do currículo, um ajuste na interpretação do resultado a partir das referências de sua construção, o porquê da matriz e o valor de suas proposições - resultado que não leva em conta as diferenças culturais e regionais dos alunos das escolas. Diferenças que são tão idealmente apresentadas no currículo oficial como elemento a definir as práticas e o trabalho docente.
Podemos extrair dos relatos das pesquisas que, na dimensão curricular, cuja proposta foi explicitada no programa São Paulo faz escola, há ainda muitas questões que não foram suficientemente absorvidas. Dentre os questionamentos que se fazem, está sua extensão a toda a rede como currículo oficial único, padrão, que não leva em conta a diversidade de contextos das unidades escolares, distribuídas pelo território do Estado; que não considera a autonomia, assegurada pela Constituição Federal e pela LDB, de que cada escola tenha sua própria proposta pedagógica, construída pela sua comunidade. Do ponto de vista estritamente didático-pedagógico, a questão mais significativa dentre os dificultadores para a apropriação e a objetivação dessa proposta está a sua fundamentação na denominada pedagogia das competências, alteração que produziu uma inflexão no modelo cultural até então dominante e que estruturava todas as práticas escolares.
Na dimensão avaliativa, a instituição da avaliação externa por meio do SARESP e sua utilização na composição do IDESP, como expressão da qualidade da educação, é questão que apresenta inúmeros questionamentos. Outro aspecto dessas políticas que se revela polêmico é a utilização da avaliação externa como critério para o pagamento do chamado bônus aos trabalhadores das escolas, ou seja, o estabelecimento da aprendizagem dos alunos como determinante do pagamento de estímulo monetário aos trabalhadores da escola pelo aumento da produtividade. É claro que práticas questionáveis poderiam surgir no campo educacional como resultado da adoção de tal medida, importada do campo empresarial e há muito utilizada para estimular a produtividade do trabalho.
Desde então, os resultados conseguidos pelos alunos nas provas do SARESP passaram a estruturar o trabalho escolar, já que é o que agora interessa para todos os trabalhadores da escola. Não vai aqui qualquer julgamento moral para tal prática, afinal é do seu salário que vivem os trabalhadores e é da lógica do sistema capitalista a valorização, pelo trabalhador, da sua força de trabalho. Há, entretanto, de lamentarmos que se transfira para o campo da educação e da formação humana esses procedimentos típicos do modo de produção capitalista associados à exploração do trabalho.
De modo geral, podemos afirmar que a reforma implantada na rede de ensino estadual de São Paulo pelo governo Serra aprofundou as políticas de corte neoliberal que vinham sendo introduzidas na organização e no funcionamento dessa rede escolar. Até então, as políticas dos governos do PSDB para a educação tinham variado entre momentos de imposição autoritária das mudanças a momentos de certo populismo e romantismo pedagógico, ainda que sempre mantendo os princípios doutrinários desse partido.
O governador Serra, em função do momento político e do projeto pessoal de competir nas eleições para presidente da república em 2010, elegeu a educação dentre as prioridades para compor sua futura plataforma eleitoral. Assim, convocou para comandar a educação o grupo que compunha a equipe do MEC no governo FHC responsável, portanto, pela reforma da educação nacional naquele período. Com esse pano de fundo, o Plano de Ação para a Educação, produzido e implementado, sintetizou todos os princípios e os fundamentos presentes nas normas legais que produziram a reforma da década de 1990, mas que não foram plenamente realizadas na prática na medida em que dependiam das ações concretas dos governos estaduais e municipais de vastas e diferentes realidades socioeconômicas e políticas.
Embora não tenha sido objeto deste texto, a avaliação que se pode fazer da apropriação que as unidades escolares, seus agentes e a comunidade fazem das propostas da reforma é que se deu de forma parcial em decorrência da complexidade que está envolvida em toda mudança cultural nas organizações, em geral, e na cultura escolar, em particular. A reforma como descrevemos na introdução se deu em diversas dimensões da organização e do funcionamento da educação implicando, assim, a manifestação dos interesses, das resistências e dos conflitos de toda ordem no processo de sua implementação.
De modo geral, as práticas observadas no cotidiano escolar não coincidem com aquelas previstas e anunciadas pelos reformadores nos documentos por eles produzidos e no seu discurso nos veículos de divulgação da reforma e na mídia.
Referências
DELORS, J. Educação: um tesouro a descobrir. São Paulo: Cortez, 1998.
EAGLETON, T. Depois da teoria: um olhar sobre os estudos culturais e o pós-modernismo. Rio de Janeiro: Civilização Brasileira, 2005.
SÃO PAULO. Secretaria de Estado da Educação. A nova estrutura administrativa da Secretaria da Educação do Estado de São Paulo: por uma gestão de resultado com foco no desempenho do aluno. Secretaria da Educação; coordenação e execução. São Paulo: SEE, 2013.
SÃO PAULO. Secretaria de Estado da Educação. Proposta Curricular do Estado de São Paulo. São Paulo: SEE, 2008.
SÃO PAULO. Secretaria de Estado da Educação. Relatório Pedagógico 2009 SARESP. São Paulo: SEE, 2010.
SÃO PAULO. Secretaria de Estado da Educação. Sistema de avaliação do rendimento escolar: conhecendo os resultados da avaliação, v. I, II, III, IV e V. São Paulo: FDE, 1998.
WILLIAMS R. The long revolution. Harmondsworth: Penguin Books, 1961.
Notas