Introdução

O processo avaliativo de aprendizagem discente é extenso, complexo e muitas vezes também entre pais e os próprios alunos, pois pode ser tratado por diferentes concepções e práticas. Horta Neto (2010, p. 88) destaca que existem diferentes tipos de avaliação que são aplicadas nas escolas: desde aquelas de âmbito escolar, até as que perpassam todo o sistema educacional.

As avaliações realizadas no cotidiano escolar têm como objetivo a verificação do processo de construção do conhecimento, ao contrário da avaliação externa, aplicada pelo Estado, cujo propósito é avaliar o produto da aprendizagem. No entanto, mesmo sendo diferentes, podem contribuir para discussão acerca dos diferentes momentos dos processos de construção do conhecimento, desde que sejam bem formuladas (LOCATELLI, 2002).

Sordi e Ludke (2009, p. 316) salientam que "a avaliação vem ganhando centralidade na cena política e os espaços de sua interferência têm sido ampliados de modo marcante, ultrapassando o âmbito da aprendizagem dos alunos". Advertem que os professores não podem ser ingênuos neste assunto. Antes, devem desenvolver alguma habilidade para lidar com a avaliação, uma vez que é "um campo fortemente atravessado por interesses". As avaliações elaboradas e aplicadas pelos professores com o objetivo de verificar o aprendizado dos alunos e, portanto, com foco exclusivo no aluno, têm o seu processo rompido pela avaliação que é aplicada em larga escala pelo Estado, principalmente as da rede pública de ensino. O estado, por meio das avaliações aplicadas em larga escala busca "subsídios que orientem os sistemas educativos que passam a assumir importante protagonismo, inclusive na indicação das escolas a um determinado padrão de qualidade" (SORDI; LUDKE, 2009, p. 318).

A partir dos resultados dessas avaliações, cuja orientação, na maioria das vezes, diz respeito ao desempenho dos alunos, são produzidos relatórios e estatísticas que servem como parâmetro de comparação entre a classificação das escolas e ainda podem definir políticas públicas. Por outro lado, informam também à sociedade e ao mercado onde estão concentradas as ilhas de "excelência" educacional (SORDI; LUDKE, 2009). O interesse do Estado em conceber a avaliação como parte do planejamento educacional é evidenciado desde o início do século passado. Entretanto, é somente no final dos anos 80 que a avaliação passa a ganhar força para ser integrada nas políticas e práticas do governo com fim na educação básica (BONAMINO; SOUSA, 2012).

Diante disso, o gestor escolar acrescentará a sua prática questões que até então não eram por ele observadas, como atendimento aos conteúdos pré-determinados pelos sistemas em função do que é exigido nas avaliações em larga escala, seja em nível nacional, estadual ou municipal; e a observância à política de responsabilização instituída, em grande parte, por meio de gratificações salariais a partir dos resultados obtidos pelas escolas. Esse fato pode gerar ações em prol do atendimento exclusivo à determinações oriundas dos gestores educacionais em detrimento das reais necessidades locais de cada escola.

Frente ao exposto, com o objetivo apresentar e discutir o sistema de avaliação do estado do Rio de Janeiro, a partir da década de 1990, foi utilizada a pesquisa bibliográfica e documental no paradigma qualitativo de análise. O trabalho foi estruturado de modo a apresentar o referencial teórico e a análise de dados seguida das considerações finais.

Avaliações em larga escala no Brasil: indicadores educacionais numa perspectiva diagnóstica

Nas últimas décadas, a discussão dos problemas e desafios educacionais brasileiros tem sido marcada pela divulgação dos resultados das avaliações externas às instituições de ensino, que são aplicadas em larga escala com o objetivo de avaliar o desempenho dos alunos e também pelos indicadores educacionais produzidos por avaliações dos sistemas de ensino de nível federal, estadual e municipal (SAEB, Prova Brasil, ENEM, ANA, ENADE, entre outras)1. Tais avaliações frequentemente trazem resultados insatisfatórios que acabam gerando polêmicas acerca das políticas públicas e gestão educacionais em diferentes espaços, mas, principalmente nas escolas e, sobretudo, na mídia. Entretanto, essa situação pode assumir novos contornos quando compreendemos como a avaliação padronizada e em larga escala se inseriu historicamente, em uma perspectiva diagnóstica, na gestão da educação no Brasil.

Na Constituição Federal de 1988, citada por Coelho (2008), a avaliação educacional está associada à qualidade na educação, pois aponta em seus artigos: a "garantia de padrão de qualidade", que figura como um dos princípios basilares do ensino (art. 206) e a "avaliação da qualidade pelo poder público", que aparece como condição do ensino livre à iniciativa privada (art. 209).

Com a democratização do acesso à escolarização, novas demandas educacionais surgem e com isso ocorre a necessidade de acompanhar os resultados dessa expansão dos sistemas de ensino por meio de variados levantamentos educacionais. Essas pesquisas de levantamento em larga escala demonstraram, ao longo do tempo, características e perspectivas diferenciadas sobre a educação, e, mais atualmente, resgataram a importância dos fatores escolares para a compreensão do desempenho escolar dos alunos (BROOKE; SOARES, 2008; BERNADO, 2008, 2009, 2010, 2013a, 2013b).

No Brasil, foi desenvolvida uma cultura de avaliação como subsídio para formular políticas públicas. Segundo Coelho (2008), foi em meados dos anos de 1990 que a avaliação da educação básica foi consolidada pela avaliação externa da escola via Saeb (Sistema de Avaliação da Educação Básica), com base em resultados da aprendizagem aferidos por instrumentos cognitivos e contextuais desenvolvidos pelo Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira). Os dados de desempenho escolar e seus determinantes para todos os níveis de ensino são coletados e analisados pela União. Também destacamos que alguns estados e municípios, como no caso do município e do estado do Rio de Janeiro, ao longo dos últimos anos, desenvolveram seus sistemas locais de avaliação.

A partir dos anos 2000, o Brasil começou a participar do Pisa (Programme for International Student Assessment - Programa Internacional de Avaliação de Estudantes), uma avaliação externa internacional e comparada (a outros países), aplicada a estudantes na faixa etária de 15 anos de idade. O programa tem seu desenvolvimento e coordenação sob responsabilidade da OCDE (Organização para Cooperação e Desenvolvimento Econômico) e em cada país há uma coordenação nacional. No Brasil, o Pisa é coordenado pelo Inep e o objetivo do programa é a produção de indicadores que contribuam para a discussão da qualidade da educação nos países participantes de modo a subsidiar políticas de melhoria da educação básica. Além de observar as competências dos estudantes em Leitura, Matemática e Ciências, o Pisa coleta informações para a elaboração de indicadores contextuais, os quais possibilitam relacionar o desempenho dos alunos a variáveis demográficas, socioeconômicas e educacionais.

Em 2005, a Portaria Ministerial nº 931 alterou o nome do exame amostral do Sistema Nacional de Avaliação da Educação Básica (Saeb), para Avaliação Nacional da Educação Básica (Aneb). As avaliações do Saeb produzem informações sobre a realidade educacional brasileira por regiões, das redes de ensino privada e pública nos estados e no Distrito Federal, por meio de um exame bienal de proficiência em Matemática e em Língua Portuguesa (leitura), aplicado em amostra de alunos de 5º e 9º ano do ensino fundamental e 3º ano do ensino médio. O Saeb é composto por dois processos: a Avaliação Nacional da Educação Básica (Aneb) e a Avaliação Nacional do Rendimento Escolar (Anresc). A Aneb é realizada por amostragem das Redes de Ensino em cada unidade da Federação e tem foco nas gestões dos sistemas educacionais. Por manter as mesmas características, a Aneb recebe o nome do Saeb em suas divulgações; A Anresc é mais extensa e detalhada que a Aneb e tem foco em cada unidade escolar. Por seu caráter universal, recebe o nome de Prova Brasil em suas divulgações.

A Prova Brasil foi introduzida em 2005 para avaliar o desempenho em Língua Portuguesa e Matemática nas escolas, aquela com foco em leitura e esta com foco na resolução de problemas. Há também o questionário socioeconômico, no qual os estudantes fornecem informações sobre fatores do contexto que possam estar associados ao desempenho. Professores, diretores das turmas e escolas avaliadas também respondem a questionários que coletam dados demográficos, perfil profissional e de condições de trabalho, tais informações constam no site do Inep.

No que tange às avaliações concebidas no país, convém destacar que o IDEB (Índice de Desenvolvimento da Educação Básica), criado em 2007 pelo Inep, é um indicador nacional que permite o acompanhamento da qualidade da educação por meio de dados que auxiliam no estabelecimento de metas para melhoria do ensino. Ele é calculado a partir de dados da aprovação escolar obtidos no Censo Escolar e das médias de desempenho nas avaliações do Saeb - para as unidades da federação e para o país, e da Prova Brasil - para os municípios.

Reconhecemos que as avaliações externas inserem mudanças na forma como os gestores escolares conduzem o cotidiano da escola, de maneira que estes precisam atender as demandas e metas trazidas por tais avaliações. As avaliações são aplicadas pelo governo e os gestores devem encontrar meios, juntamente com os demais atores do cotidiano escolar, para alcançarem melhores resultados. Além disso, existe a demanda de divulgação dos indicadores educacionais como, por exemplo, o IDEB, o qual tem seu índice exposto em muitas portas das escolas públicas brasileiras. Segundo Brooke (2006, p. 378),

Essa exigência por maiores informações sobre os resultados dos sistemas escolares tem sido respondida pela implementação de políticas de accountability, ou seja, de responsabilização, mediante as quais se tornam públicas as informações sobre o trabalho das escolas e consideram-se os gestores e outros membros da equipe escolar como co-responsáveis pelo nível de desempenho alcançado pela instituição.

É preciso garantir um parâmetro mínimo de educação diante de um país de dimensões continentais, porém as avaliações externas não podem ser o único objetivo a ser alcançado pelas escolas em busca de melhores índices educacionais. Sabemos que os resultados escolares divulgados em muitas regiões do Brasil, tornaram-se o critério de maior importância para as famílias matricularem seus filhos nas escolas. No entanto, as avaliações devem ser empregadas para a busca de melhorias na aprendizagem e no cenário educacional brasileiro. Além disso, o foco norteador deve ser a garantia de maior e melhor aprendizagem dos alunos, e não apenas uma competição intra e interescolar, como pode ser percebido em algumas redes de ensino, com o único objetivo de receber no final do ano a "bonificação" pelos melhores resultados de desempenhos discentes alcançados. A seguir abordaremos os reflexos dessas avaliações externas no estado do Rio de Janeiro.

Avaliação em larga escala no estado do Rio de Janeiro

Os processos de avaliação fazem e sempre farão parte da rotina do professor não só a fim de verificar a apropriação dos conteúdos ensinados aos seus alunos, mas também de identificar o que necessita ser melhorado e/ou corrigido, e, desse modo, possibilitando ao docente rever, corrigir e ajustar metodologias de trabalho. Shiroma e Evangelista (2011, p. 134) destacam que "avaliar é preciso. Contudo, nos últimos tempos, a reificação da qualidade, tomada como valor absoluto nos debates sobre avaliação, parece ter se tornado a mola mestra a gerar animosidade no campo das políticas públicas e na relação com os professores."

Atualmente há uma grande preocupação com os resultados do trabalho docente e a relação destes com os recursos investidos, uma vez que tais fatores conduzem as políticas de avaliação, induzindo procedimentos e conteúdos político-pedagógicos. Nesse sentido, a adesão dos professores às reformas propostas é muito importante (SHIROMA; EVANGELISTA, 2011).

Shiroma e Evangelista (2011, p. 135) acentuam que "essas iniciativas redundaram na política de 'responsabilização pelos resultados' que se procura impingir aos professores". Para as autoras, os resultados aqui não dizem respeito apenas aos verificados no nível escolar, mas também os sociais, uma vez que os docentes têm como tarefa formar e preparar as futuras gerações, delineadas nas fronteiras do modo capitalista de produção.

As autoras destacam ainda que

[...] a gestão por resultados pressupõe um forte sistema de avaliação, critérios e indicadores definidos. Os reformadores alegam que quanto mais normatizada, informatizada, computadorizada, despersonalizada for a avaliação, mais adequada, posto que se tornaria mais refratária à subjetividade do avaliador. Contudo, a ênfase hipertrofiada nos instrumentos e mecanismos de avaliação tem produzido uma reorganização nas instituições educacionais que retiram boa parte do tempo que dedicariam ao trabalho educativo para registro de informações, preenchimento e envio de relatórios às instâncias superiores. (SHIROMA; EVANGELISTA, 2011, p. 135).

A preocupação com a qualidade da Educação Básica está na agenda das políticas educacionais de todos os governos, federal, estadual e municipal. Brooke e Cunha (2011, p.30) destacam que mesmo utilizando instrumentos de verificação oriundos do SAEB, o qual visa fundamentalmente monitorar e não diagnosticar, "todos têm como objetivo explícito fornecer feedback aos professores de sala de aula e ajudar na busca de soluções para superar as dificuldades de aprendizagem dos alunos."

Os autores acentuam que

[...] o uso das avaliações estaduais para fins de um monitoramento genérico da evolução geral do sistema se torna cada vez mais frequente, como evidenciado pela criação recente de indicadores que tentam captar em um único número, uma medida da qualidade de cada fase de educação em cada escola. Influenciados e incentivados pela criação do Índice de Desenvolvimento da Educação Básica (Ideb) em nível nacional, alguns estados, incluindo Pernambuco (Idepe), Amazonas (Ideam), São Paulo (Idesp), Ceará (IDE-Alfa), Rio de Janeiro (Iderj) e os municípios do Rio de Janeiro (IDE-Rio), São Paulo (Indique) e o Distrito Federal (IDDF) já criaram indicadores desse tipo. (BROOKE; CUNHA, 2011, p. 26).

O governo do estado do Rio de Janeiro criou em 20112 o Índice de Desenvolvimento Escolar do Estado do Rio de Janeiro (IDERJ), cujo objetivo, no discurso do governo, é ser um indicador de qualidade escolar, de modo a fornecer um diagnóstico de cada escola pública estadual, numa escala de zero a dez, tendo como parâmetros o indicador de fluxo escolar e o indicador de desempenho (RIO DE JANEIRO, 2011a).

A criação do IDERJ em 2011 não significa que o sistema estadual de avaliação do estado do Rio de Janeiro tenha sido iniciado neste ano. O sistema de avaliação externa do estado foi criado em janeiro de 2000, com o nome de Sistema de Avaliação Permanente das Escolas Públicas do Estado do Rio de Janeiro. Neste mesmo momento, foi criado o Programa Nova Escola3 (BROOKE, 2008).

Gama (2002, p. 01) ressalta que o Programa Nova Escola tinha como objetivo

[...] melhorar a qualidade do ensino público estadual, propondo-se a mudar a cultura escolar e privilegiar a inclusão, participação, democratização de oportunidades e a consolidação da cidadania. Assim, ao monitorar e avaliar as escolas visa, especificamente, fornecer subsídios para a elaboração de políticas públicas, incentivar o uso de processos avaliativos considerados indispensáveis para o desenvolvimento e autotransformação das escolas e estabelecer gratificações por desempenho.

Nesta perspectiva, o Programa Nova Escola estava alinhado às tendências administrativas de monitoramento e avaliação. O autor destaca que o Programa apresentava-se ainda "como resposta aos desafios da administração pública em todos os seus níveis: atender de forma eficiente, rápida e satisfatória às demandas crescentes e diferenciadas vindas tanto da sociedade quanto de órgãos do próprio sistema" (GAMA, 2002, p. 01).

Brooke (2006) corrobora Gama (2002) no sentido de que o Programa pretendia trazer várias questões positivas, como fomentar métodos mais democráticos na gestão das escolas, promover integração entre as ações governamentais, além de propiciar melhorias nas condições de trabalho docente, racionalizando o uso de recursos. Entretanto, o autor adverte que ao lado da tentativa de aprimorar a gestão das escolas de sua rede, tinha também o intuito de responsabilizar seus funcionários, dentre eles, destacam-se os diretores, professores e funcionários administrativos, também chamados de 'apoio', pelos resultados dos alunos. Com isso, as constantes modificações do sistema de avaliação da rede e no próprio Programa desde a sua criação evidenciam a "dificuldade de se chegar a um consenso em torno dos objetivos e métodos de um programa de responsabilização" (BROOKE, 2006, p. 388).

O Programa Nova Escola também previa o pagamento de gratificações a diretores, professores e equipe de apoio, cujos valores diferenciavam de acordo com o nível em que a escola estava inserida. Isto é, em 2004, no nível mais alto, nível V, a gratificação era de R$ 500 para professores de tempo integral e de R$ 250 para pessoal de apoio. Brooke (2006, p. 389) destaca que, neste ano,

[...] foram pagos R$ 16 milhões em gratificações, sendo R$ 8 milhões pela classificação geral das escolas e R$ 8 milhões pelo progresso alcançado entre 2003 e 2004. Foram beneficiados no total 58.008 professores, 19.843 funcionários de apoio e 9.425 concursados que começaram a atuar em 2004.

É importante mencionar que a divisão em cinco níveis de qualidade deu-se a partir de 2004, uma vez que o contrato de gestão do Programa passou a ser gerido pelo Centro de Políticas Públicas e Avaliação da Educação (CAED), que reformulou o programa, concentrando suas ações no desempenho, fluxo escolar e gestão das 1.830 escolas da rede. Nesse sentido, as escolas foram divididas nesses cinco níveis a partir das notas obtidas nas três áreas de avaliação (BROOKE, 2006).

Durante a gestão anterior, que era pela Fundação Cesgranrio, ocorreram avaliações nos anos 2000 e 2001. Em 2002 não houve coleta de dados, a mudança técnica do programa aconteceu em 20034, para a qual a Fundação "propôs novos instrumentos, utilizando alguns dos itens e a escala do Saeb para comparar o desempenho do Rio de Janeiro com as médias nacionais" (BROOKE, 2006, p. 388).

Brooke (2006, p. 388) destaca que ainda em 2003,

[...] foram desenvolvidos os índices de Gestão Escolar, de Eficiência Escolar e de Aprendizagem, e se estabeleceram grupos de referência pela média das notas padronizadas de cada índice a fim de evitar comparações entre escolas com alunos de nível socioeconômico muito diferente. Foram criados cinco grupos de referência de acordo com a renda familiar dos alunos.

A avaliação das escolas ocorria ao longo de todo o ano. Constituía-se basicamente de "visitas às unidades escolares, entrega de relatórios, acompanhamento de prazos e da burocracia referente à gestão, matrícula e fluxo, culminando com o 'dia D', dia em que é avaliado o desempenho escolar dos alunos da rede" (RODRIGUES, 2007, p. 27).

A divulgação oficial dos resultados era sempre no ano subsequente e somente depois da divulgação as gratificações passavam a ser pagas ou corrigidas. Cada ano de avaliação corresponde a um ciclo cujo encerramento é sempre no ano letivo seguinte (RODRIGUES, 2007). Brooke (2006, p.391) completa informando que tal procedimento era alvo de críticas, uma vez que,

[...] considerando a alta rotatividade de professores e a consequente volatilidade no desempenho da escola, o ideal seria avaliar e gratificar durante o mesmo período escolar. Porém, a aplicação de testes mais perto do começo do ano escolar mediria os resultados do ano anterior e conservaria, portanto, a mesma injustiça de gratificar professores que não foram necessariamente os responsáveis pela classificação da escola.

Durante o processo de implantação e ao longo dos anos de avaliação, o Programa Nova Escola sofreu diversas críticas e oposições. Um dos mais fortes opositores do Programa foi o Sindicato Estadual dos Profissionais de Educação (SEPE) que logo após a implantação apresentou várias críticas através de publicações de panfletos (CERQUEIRA, 2014). Leal (2004, p. 79) destaca o panfleto intitulado "Nova Escola e avaliação da Fundação Cesgranrio: Produtividade e Competição a serviço da destruição da Escola Pública", no qual o SEPE "revela que há cinco anos os profissionais da educação não têm reajuste salarial, enquanto o governo apresenta a proposta da gratificação 'dentro da lógica da produtividade'".

O autor aponta que, no ano de sua implantação, a adesão foi da maioria das escolas da rede, porém é presumível que

[...] se a escola opta por não participar, já sai perdendo, pois não tem nada a ganhar - nem gratificações, nem investimentos do Estado. Já a escola que "opta" pela participação, faz jus ao conhecido mote: "pior do que está não pode ficar". Ou seja, as escolas aderem na tentativa de "pagar para ver", isto é, não por convicção, mas acreditando que podem receber melhorias de investimentos e aguardando o retorno da gratificação por desempenho (LEAL, 2004, p. 86).

Para estimular a participação dos alunos no dia da prova e da escola no dia da avaliação, a Fundação, com patrocínio de empresas, oferecia prêmios para serem sorteados entre as escolas e alunos (LEAL, 2004).

Em relação, ainda, às fortes críticas do Programa Nova Escola por parte do SEPE, Brooke (2006) destaca que em agosto de 2005 o sindicato movia cinco ações contra o governo do Rio de Janeiro, dentre as quais, três5 eram referentes ao Programa. O autor frisa que

[...] sem dúvida, o Programa Nova Escola tem suas dificuldades. As consequências da avaliação das escolas segundo as gratificações oferecidas são bastante significativas, seja em termos absolutos, seja em termos das diferenças que introduzem num ambiente até agora dominado pela ideia da isonomia salarial. Por gerarem tanta animosidade, essas mudanças acabam por ofuscar o propósito da avaliação, que é oferecer informação aos membros da equipe escolar e permitir um diagnóstico do funcionamento da escola (BROOKE, 2006, p. 393).

O fim do Programa Nova Escola aconteceu no início do Governo de Sérgio Cabral, em 2008. Em seu lugar, emerge o Sistema de Avaliação da Educação Básica do Estado do Rio de Janeiro (SAERJ) que, de acordo com o discurso oficial, está em conformidade com os estudos mais atuais em relação às avaliações externas (RIO DE JANEIRO, 2008).

O Sistema de Avaliação e sua repercussão na gestão escolar e no currículo

Com a perspectiva da implementação de ações políticas e pedagógicas para a melhoria da educação oferecida nas unidades públicas estaduais, o SAERJ foi instituído. No discurso oficial do estado, a partir das avaliações externas é possível realizar um melhor planejamento de ações em todos os níveis do sistema de ensino. Fazem parte deste sistema de avaliação dois programas: o Programa de Avaliação Diagnóstica6 do Desempenho Escolar e o Programa de Avaliação Externa7 (RIO DE JANEIRO, 2008).

Em sua trajetória acerca do número de alunos avaliados, em 2008 foram 191.966; em 2009: 163.388; em 2010: 617.149; em 2011: 166.213 e em 20128: 164.381 alunos. Nota-se que em 2010, não só os alunos dos 5º e 9º anos do ensino fundamental e 3º ano do ensino médio fizeram a avaliação, mas também os alunos do 3º, 4º, 6º, 7º e 8º do ensino fundamental e 1º e 2º ano do ensino médio (RIO DE JANEIRO, 2011b; 2012). Nesse sentido, no discurso oficial, o SAERJ, aplicado anualmente, fornece informações que podem subsidiar "os gestores públicos na tomada de decisões acerca de políticas educacionais voltadas para a equidade e para melhoria da qualidade do ensino" (RIO DE JANEIRO, 2010a, p. 9).

Em 2011, também o SAERJ tornou-se bimestral. Com o nome Saerjinho9 e por meio de um sistema online10, pretende maior rapidez com dados diagnósticos com o objetivo de "identificar necessidades imediatas de intervenção pedagógica" (RIO DE JANEIRO, s/d.a, p. 7).

Outra ação promovida pelo governo foi a criação da Bonificação por Resultados11. É um programa que visa remunerar os servidores da Secretaria de Estado de Educação do Rio de Janeiro (SEEDUC) lotados em Unidades Escolares, Regionais Administrativas, Pedagógicas e Pedagógico-Administrativa que atingirem ou superarem as metas estabelecidas em Resolução12 e tem como objetivo, de acordo com o discurso oficial,

[...] aumentar o grau de comprometimento dos servidores com o processo de ensino e aprendizagem; recompensar os servidores pelos resultados; estimular a parceria e o trabalho em equipe dos servidores a partir da busca do alcance de melhores resultados (foco em resultados); contribuir para uma maior profissionalização quando o bom desempenho é medido, reconhecido e recompensado; estimular a produtividade (RIO DE JANEIRO, s/d.b, p. 4).

Observa-se que tal bonificação por resultados em geral, e em particular no estado do Rio de Janeiro, é realizada por incentivos salariais. Brooke (2008, p. 105) afirma que "não há exemplos de programas que usam outras formas de incentivo, tais como recursos adicionais ou vantagens de carreira para membros da equipe escolar." Nesse sentido, Franco e Menezes Filho (2012) salientam a necessidade de indicadores de desempenho confiáveis para as políticas de incentivo, principalmente quando se trata de premiação, punição ou auxílio para aqueles que podem atingir ou não o desempenho esperado.

Shiroma e Evangelista (2011) complementam os autores citados ao observarem que aumenta a vulnerabilidade do professor tanto pela avaliação nacional dos alunos quanto pela avaliação periódica de seu desempenho.

As autoras destacam ainda que a partir da instituição e divulgação da meritocracia e de outros fatores a ela relacionados como "a avaliação para estabelecimento de rankings, o pagamento por produtividade, esse programa promove um efeito contrário ao que se anuncia, ou seja, prejudica a construção de uma 'eficiência coletiva'", uma vez que será criado um sistema de competição entre professores, escolas e alunos, comprometendo a busca pela qualidade tão almejada (SHIROMA; EVANGELISTA, 2011, p. 142).

Oliveira (2005, p. 768-769) sublinha que

[...] são os professores, em geral, considerados os principais responsáveis pelo desempenho dos alunos e do sistema. Diante desse quadro, os professores veem-se, muitas vezes, constrangidos a responsabilizarem-se pelo êxito ou insucesso dos programas de reforma, bem como a se vitimarem diante das precárias condições objetivas para a realização das suas novas tarefas.

Outra iniciativa instituída pelo governo foi adoção de um Currículo Mínimo13, cujo objetivo, a partir do discurso oficial, é servir de referência a todas as unidades escolares pertencentes à rede estadual de educação. Sua finalidade é "orientar, de forma clara e objetiva, os itens que não podem faltar no processo de ensino-aprendizagem, em cada disciplina, ano de escolaridade e bimestre" (RIO DE JANEIRO, 2012, p. 3).

De acordo com este discurso, o Currículo Mínimo tem como objetivos específicos:

• estabelecer os conhecimentos, habilidades e competências a serem adquiridos pelos alunos na educação básica;

• proporcionar clareza e coerência nos objetivos do ensino-aprendizagem;

• promover a compreensão global dos passos e nuances da formação integral do aluno;

• promover a correspondência entre as diferentes unidades escolares, com o alinhamento dos graus de complexidade que a aprendizagem deve atingir em cada ano da educação básica;

• incorporar as inovações propostas pelas práticas pedagógicas;

• observar as diretrizes curriculares estabelecidas pelo Ministério da Educação.

Brooke e Cunha (2011, p. 34) defendem que em geral "esses currículos parecem advir da constatação de que os esforços por melhores resultados podem ser inócuos se não houver uma política bem focada na definição e distribuição de conteúdos ensinados." Os autores evidenciaram que há

[...] uma dinâmica de construção de um currículo comum oficial bastante recorrente: após a implantação dos sistemas de avaliação, chega-se à conclusão de que pouco vale investir em formação, oficinas pedagógicas ou na divulgação dos resultados por meio de boletins se não existir um currículo básico comum, que permita construir um diálogo com o professor a respeito daquilo que está sendo cobrado pelo sistema de avaliação (BROOKE; CUNHA, 2011, p. 34).

Os autores apontam uma tendência na participação dos professores na construção dos currículos na maioria dos estados que a adota. Assim, "essa construção coletiva cria a esperança de uma implantação mais tranquila", destacando que o processo de implantação e de apropriação é gradual e lento (BROOKE; CUNHA, 2011, p. 35).

No estado do Rio de Janeiro, houve a constituição de grupos de professores especialistas para construir os currículos de todas as disciplinas. Inicialmente foram desenvolvidos o Currículo Mínimo para os anos finais do Ensino Fundamental e para o Ensino Médio regular, privilegiando as disciplinas de Língua Portuguesa/Literatura, Matemática, História, Geografia, Filosofia e Sociologia. Nos anos subsequentes foi estendido para outras disciplinas (RIO DE JANEIRO, 2012).

O campo de investigação: realidades distintas em escolas do município de Belford Roxo

O município de Belford Roxo está situado na região metropolitana do estado do Rio de Janeiro e localizado a 19,5 quilômetros da capital, possui 495.694 habitantes (IBGE/2008). Possui 41 escolas compondo a rede estadual de educação, oferecendo, prioritariamente, os anos finais (6º ao 9º anos) do ensino fundamental e o ensino médio (INEP/MEC, 2014).

A escolha das escolas para a pesquisa em foco não foi aleatória. As 41 escolas dividiram-se em duas categorias: escolas que apresentam melhoria dos resultados em seus respectivos IDEBs e escolas que apresentam estagnação ou piora em seus resultados ao longo de 2007, 2009 e 2011. Uma escola que apresenta um dos melhores desempenhos a partir do índice e outra que apresenta piora ou estagnação em seus resultados caracterizam-se como lócus da pesquisa. Este critério de escolha se faz com vistas a empreender comparações de possíveis práticas que podem estar contribuindo para melhora ou piora do desempenho dos alunos, refletindo na qualidade do ensino e possibilitando futura análise por pesquisadores, gestores escolares e demais interessados no estudo.

Para garantir o anonimato das escolas pesquisadas, foi denominada Escola A, a unidade escolar cuja característica é possuir um dos maiores IDEBs dentre as escolas participantes neste grupo. A escola que obteve um dos menores índices foi denominada de Escola B.

Tabela 1

IDEB: Observado e Projetado – Anos Finais do Ensino Fundamental

Fonte: Ideb 2011 – INEP. Disponível em <http://ideb.inep.gov.br/resultado/home.seam ?cid=10314> Acesso em 26/05/2013 (adaptado pelos autores).

Podemos notar que a Escola A, nos três ciclos de avaliação acima, sempre manteve o IDEB bem mais alto do que a Escola B, com exceção do ano de 2009. E que a mesma tendência seguiu em relação aos IDEBs do Brasil, do estado do Rio de Janeiro e do município de Belford Roxo. A Escola A sempre teve o resultado observado acima da média, enquanto a Escola B manteve-se abaixo da média.

O processo avaliativo é uma ação que ainda causa discussões, por vezes a favor, outras vezes contra, entre os educadores brasileiros. Dentre os diferentes tipos de avaliação que a escola pode assumir, como pontuado por Horta Neto (2010), como somativas e formativas, por exemplo, há a avaliação externa que vem se fortalecendo no Brasil, principalmente no final da década de 1980 e passa pelos anos 90 recebendo novos formatos e aplicabilidades nunca vistos, sendo definitivamente integradas e consolidadas nas políticas e práticas do governo para com a educação básica (BONAMINO, 2002; BONAMINO; SOUSA, 2012).

O governo do estado do Rio de Janeiro vem fomentando ações que se parecem muito com as instituídas pelo governo federal, incluindo em seu ano letivo, provas bimestrais, chamadas de Saerjinho e uma prova no final do ano letivo, chamada de SAERJ, que tem como objetivos avaliar os alunos matriculados em sua rede e a verificação do fluxo escolar a partir do sistema Conexão. Assim, é conferido um índice, o IDERJ, às escolas e a partir dele é distribuído o bônus aos funcionários e professores das escolas. Brooke (2008) destaca que este procedimento realizado no estado do Rio de Janeiro é evidenciado em outros entes federados. Ele aponta ainda ser difícil encontrar outro meio de 'premiação' se não for pelo pagamento de bônus em função do resultado.

Notam-se possíveis estratégias no cotidiano escolar a fim de "preparar" os alunos não só para a Prova Brasil em nível federal, mas também para o SAERJ e Saerjinho em nível estadual. Silva e Abreu (2008) salientam que as avaliações realizadas por meio de indicadores de desempenho mostram-se 'eficazes' se tiverem como objetivo algum tipo de 'controle' sobre o cotidiano escolar. As autoras questionam se é possível conhecer a 'produtividade' de uma determinada escola a partir da aplicação de um exame realizado no final do ano letivo ou do período escolar. Destacam que os limites dos sistemas de avaliação em larga escala estão não só nos pressupostos iniciais, mas também na metodologia que decorre desse pressuposto.

Acerca das percepções das avaliações externas, o diretor da Escola A crê que são necessárias, uma vez que o processo de avaliação está inerente ao processo de aprendizagem realizado na escola. Ele pontuou que no início havia resistência por parte dos professores, porém, após um trabalho realizado pela gestão com a equipe docente, conseguiu reverter a situação:

Bom... em primeiro lugar eu considero que a avaliação é a essência da escola. Eu acho que uma escola tem que avaliar e ser avaliada sempre. No início, a princípio, nós tínhamos resistência dos professores com relação às avaliações externas, mas nós tentamos mostrar para eles que é um contrassenso, né, um contrassenso, você não gosta de ser avaliado e você trabalha avaliação o tempo todo, né. Então, a partir daí, a coisa começou a mudar. E nós começamos passar isso para os alunos também. Mostrar que era importante eles... é... mostrar a gama de conhecimento que eles tenham absorvido para que nós pudéssemos corrigir. Avaliação é uma bússola... aonde vai nortear o trabalho da gente sempre à frente. Então, esta é a ideia que hoje a escola tem de as avaliações (Diretor Escola A).

Na Escola B, para a diretora, as avaliações externas são importantes, uma vez que possibilitam um treinamento para outras avaliações que os alunos realizarão fora da escola, como o ENEM e concursos públicos. Entretanto, ressaltou que a Prova Brasil não retrata em sua totalidade a realidade das escolas. A diretora acredita serem importantes as avaliações externas, entretanto, aponta que elas deveriam levar em consideração as especificidades de cada região. Ela apontou que, na semana da entrevista, estavam sendo realizados 'aulões' com conteúdos de Língua Portuguesa e Matemática com o objetivo de preparar os alunos para a realização da Prova Brasil. No caso do SAERJ e Saerjinho, o treinamento se faz nas respectivas aulas das turmas.

Sobre as estratégias desenvolvidas pela Escola A, a fim de contribuir para uma melhoria nos resultados nas avaliações externas, o diretor informou que realiza uma semana de provão e simulados que acabam sendo um treinamento para estas avaliações. Todos os professores da Escola A destacaram a necessidade de realizar aulas em função das avaliações externas, em especial o SAERJ e o atendimento do Currículo Mínimo. Para isso, frisaram a realização de simulados e Provões a fim de possibilitar a preparação dos alunos.

Dentre as estratégias desenvolvidas pela Escola B para um melhor desempenho dos alunos nas avaliações externas, a diretora destacou a utilização do provão: "aqui a gente implantou desde o ano passado o provão, que é uma avaliação nossa. É uma avaliação interna, para eles se habituarem com as provas." Ela apontou que o provão é realizado duas vezes ao ano e visa treinar o aluno para a realização das avaliações externas e a marcação do cartão resposta. O professor de Matemática da Escola B frisou que há dois documentos que devem ser levados em consideração nas aulas: o Currículo Mínimo e os conteúdos solicitados nas questões do SAERJ. Ele disse ainda que em suas aulas são utilizadas diferentes questões oriundas de diversas provas: "[...] teste, prova, atividade em grupo. Todas elas, eu uso esses problemas, estes exercícios que vem na base, quando não, tiro do livro texto... exercícios de ENEM, ENADE, Prova Brasil. Eu só trabalho em cima disso".

Vale ressaltar, então, que tanto na Escola A quanto na Escola B, há ações e atividades que visam ao treinamento dos alunos com o objetivo de um bom desempenho nas avaliações externas. As atividades realizadas em ambas as escolas vão desde a correção das avaliações escritas realizadas nas disciplinas bimestralmente e reforço a partir das questões presentes nestas avaliações até a institucionalização de semanas de simulado e provões.

É importante destacar que não se pretende definir a avaliação externa como algo negativo ou positivo. Apenas estamos levantando questões para discussão e análise dos dados coletados nas duas escolas frente às avaliações em larga escala. As avaliações externas precisam se voltar para a realização de levantamentos de dados que possibilitem a democratização do acesso e a permanência do aluno na escola, além de melhores condições de salário e trabalho aos professores e demais funcionários das escolas, de modo a proporcionar uma sólida formação cultural e científica a todos os envolvidos, propiciando melhor qualidade da aprendizagem escolar, em condições iguais, para todos os alunos (LIBÂNEO, 2008).

Contudo, fica claro que há uma tendência em realizar aulas das disciplinas de Língua Portuguesa e Matemática com o objetivo de atender as normas instituídas pelo sistema de ensino. As oficinas de "Letramento" e "Matemática" acabam entrando no jogo uma vez que possibilitam reforçar os conteúdos constantes no Currículo Mínimo e cobrados no SAERJ, Saerjinho e Prova Brasil.

Uma das questões que podem ser depreendidas, além da que diz respeito ao cumprimento das exigências oriundas do sistema - e as escolas estão vinculadas a este sistema - e têm, portanto, como 'obrigação' atendê-lo, é a questão do desempenho da escola e, consequentemente, dos valores repassados aos professores e equipe de apoio por meio de incentivos financeiros.

Os incentivos financeiros a partir dos resultados das escolas nas avaliações externas não é algo da atual gestão. Eles vêm desde o Programa Nova Escola no início da década de 1990, como pontuam Brooke (2006) e Gama (2002). Neste sentido, depreende-se que a organização curricular a partir de reforço nos conteúdos cobrados nas avaliações externas, semanas de simulado e Provões podem estar sendo realizados em função de melhorar o desempenho dos alunos e, consequentemente, da escola nestas avaliações com a finalidade de receber as gratificações repassadas pelo estado.

Algumas considerações

A criação do IDEB após a organização do sistema de avaliação em larga escala no Brasil possibilitou a gestores públicos, gestores escolares, professores, pais e alunos a apropriação desses resultados e a discutição sobre maneiras para melhorar o ensino. No entanto, muito tem que ser feito ainda. Com a apropriação desses resultados, estados e municípios podem se avaliar a cada dois anos e verificar se as ações desenvolvidas estão surtindo efeito.

O estado do Rio de Janeiro vem demonstrando desde o início dos anos de 1990 um movimento em prol de organizar um sistema de avaliação com objetivos de verificar o rendimento de suas escolas por meio de seus alunos. Para tanto, iniciou com o Sistema de Avaliação Permanente das Escolas Públicas do Estado do Rio de Janeiro, passando em 2008 para Sistema de Avaliação da Educação do estado do Rio de Janeiro, sendo agregadas, a partir de 2011, além da avaliação anual em todas as escolas pertencentes à rede, avaliações bimestrais, chamadas Saerjinho.

Nesse movimento de organização do sistema de avaliação, é instituído o Currículo Mínimo e o sistema Conexão. Esses mecanismos são marcados fortemente no sentido de controlar as ações docentes e dos diretores das escolas estaduais, pois toda realização em atendimento ao Currículo Mínimo, que é a base dos conteúdos exigidos nas avaliações SAERJ e Saerjinho precisa estar articulada ao registro no sistema, inclusive do fluxo de alunos de cada escola que, por sua vez, é gerenciado pelos gestores educacionais.

Com base nessas informações, cada escola recebe seu índice seguindo o modelo IDEB, que leva em conta informações dos resultados da Prova Brasil e fluxo de alunos obtido a partir do Censo escolar, fortalecendo assim uma política fortemente marcada pela responsabilização por resultados. Caso a equipe de cada escola atinja a meta instituída para ela, receberá uma bonificação ao final do ano letivo.

Nesse sentido, pode-se criar um círculo vicioso no qual todo o trabalho pedagógico pode ser prejudicado em detrimento do cumprimento exclusivo das exigências dos gestores educacionais. Cabe aos gestores escolares, juntamente com sua equipe, articular estratégias que visem não só atender às exigências, mas, principalmente, olhar para a realidade de suas instituições escolares a fim de possibilitar uma educação de qualidade respeitando as peculiaridades de cada escola.

Referências

BERNADO, E. S. Organização de turmas e práticas de gestão escolar: a aprendizagem em leitura dos alunos das escolas públicas cariocas. Educação e Cultura Contemporânea, Rio de Janeiro, v. 7, n. 14, jan./jun. p. 101-121, 2010.

BERNADO, E. S. Organização de turmas: uma prática de gestão escolar em busca de uma escola eficaz. Educação e Cultura Contemporânea, Rio de Janeiro, v. 10, n. 21, p. 154-181, jul./dez. 2013a.

BERNADO, E. S. Práticas de gestão escolar, organização de turmas e desempenho em Leitura de alunos de escolas públicas cariocas: em busca da eficácia escolar. In: GONZALEZ, W.; BERNADINI, C.; RIBEIRO, G. (Org.). Práticas pedagógicas e a educação para além da escola. 1 ed. São Paulo: IGLU, 2013b. v. 1. p. 21-46.

BERNADO, E. S. Composição social e cognitiva de turmas e desempenho em Leitura e Matemática: como evoluem as desigualdades educacionais? 2008. 202 f. Tese (Doutorado em Educação) - Programa de Pós-Graduação em Educação, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2008.

BERNADO, E. S. Desempenho em Leitura e Matemática: como evoluem as desigualdades educacionais? Vertentes, São João del-Rei, v. 33, p. 21-35, 2009.

BONAMINO, A. C. Tempo de avaliação educacional: O SAEB, seus agentes, referências e tendências. Rio de Janeiro, Quartet, 2002.

BONAMINO, A; SOUSA, S. Z. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012. DOI: 10.1590/S1517-97022012005000006

BRASIL. Constituição (1988). Constituição da República Federativa do Brasil: promulgada em 5 de outubro de 1988. Brasília, DF: Senado Federal, 1988.

BROOKE, N. O futuro das políticas de responsabilização no Brasil. Cadernos de Pesquisa, São Paulo, v. 36, n. 128, p. 377-401, maio/ago. 2006. DOI: 10.1590/S0100-15742006000200006

BROOKE, N. Responsabilização Educacional no Brasil. Revista Iberoamericano de Evoluación Educativa, Madrid, v. 1, n. 1, p. 93-109, 2008.

BROOKE, N; CUNHA, M. A. A. A avaliação externa como instrumento da gestão educacional nos estados. In: Estudos & Pesquisas Educacionais - Fundação Victor Civita, São Paulo, n. 2, p. 17-79, nov. 2011.

BROOKE, N.; SOARES, J. F. Pesquisa em Eficácia Escolar: origem e trajetórias. Belo Horizonte: UFMG, 2008.

CERQUEIRA, L. M. Gestão escolar e o Programa Mais Educação em duas escolas de Belford Roxo. 2014. 141 f. Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Estácio de Sá, Rio de Janeiro, 2014. Disponível em:<http://portal.estacio.br/media/4595864/disserta%C3%A7%C3%A3o%20-%20leonardo%20meirelles%20cerqueira.pdf>. Acesso em: 02 maio 2016.

COELHO, M. I. de M. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 16, n. 59, p. 229-258, abr./jun. 2008. DOI: 10.1590/S0104-40362008000200005

FRANCO, A. M. P; MENEZES FILHO, N. Uma Análise de Rankings de Escolas Brasileiras com Dados do SAEB. Estudos Econômicos, São Paulo, v. 42, n. 2, p. 263-283, abr./jun. 2012. DOI: 10.1590/S0101-41612012000200002

GAMA, A. Avaliação do desempenho dos alunos no Programa Nova Escola/RJ: competências, habilidades e exclusão social. Teias, Rio de Janeiro, v. 3, n. 6, p. 1-14, jul./dez. 2002.

NETO, J. L. H. Avaliação externa de escolas e sistemas: questões presentes no debate sobre o tema. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 91, n. 227, p. 84-104, jan./abr. 2010.

LEAL, M. E. P. O Programa Nova Escola: avaliação institucional nas escolas da rede do estado do Rio de Janeiro (2000-2001). 2004, 181f. Dissertação (Mestrado em Educação) - Faculdade Federal Fluminense. Niteroi, 2004. Disponível em <http://www.bdtd.ndc.uff.br/tde_busca/arquivo.php?codArquivo=1952> Acesso em 02/09/2012.

LIBÂNEO, J. C. Organização e gestão da escola: teoria e prática. 5. ed. Revista e ampliada. Goiânia: MF Livros, 2008.

LOCATELLI, I. Construção de Instrumentos para a avaliação de larga escala e indicadores de rendimento: o modelo SAEB. Estudos em Avaliação Educacional, São Paulo, n. 25, jan./jun. 2002. DOI: 10.18222/eae02520022189

OLIVEIRA, D. A. Regulação das políticas educacionais na América Latina e suas consequências para os trabalhadores docentes. Educação & Sociedade, Campinas, v. 26, n. 92, p. 753-775, out. 2005. DOI: 10.1590/S0101-73302005000300003

RIO DE JANEIRO. Secretaria de Estado da Educação. Revista do Professor de Avaliação da Educação: Saerj-2008, Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd, v. 1 jan./dez. 2008.

RIO DE JANEIRO. Lei 5.451 de 22 de maio de 2009. Estabelece normas voltadas para a lei de responsabilidade educacional do estado do Rio de Janeiro. Diário Oficial do Estado do Rio de Janeiro, Rio de Janeiro, 25 maio 2009.

RIO DE JANEIRO. Secretaria de Estado da Educação. Revista do Sistema de Avaliação. SAERJ - 2010 / Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd. v. 1 (jan/dez. 2010), Juiz de Fora, 2010a.

RIO DE JANEIRO. Resolução SEEDUC nº 4.445 de 05 de maio de 2010. Dispõe sobre a política de modernização e a regulamentação do sistema de gestão acadêmica da rede pública estadual de ensino intitulado Conexão e dá outras providências. Diário Oficial do Estado do Rio de Janeiro, Rio de Janeiro, 07 maio 2010b.

RIO DE JANEIRO. Decreto nº 42.793 de 06 de janeiro de 2011. Estabelece programas para o aprimoramento e valorização dos servidores públicos da secretaria e estado de educação do Rio de Janeiro e dá outras providências. Diário Oficial do Estado do Rio de Janeiro, Rio de Janeiro, 07 nov. 2011a.

RIO DE JANEIRO. Secretaria de Estado de Educação. SAERJ - 2011 / Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd. v. 2 (jan/dez. 2011), 2011b.

RIO DE JANEIRO. Secretaria de Estado de Educação. Currículo Mínimo: Língua Portuguesa. 2012.

RIO DE JANEIRO. Secretaria de Estado de Educação. Revista SAERJINHO: prova bimestral do sistema de avaliação da educação básica do estado do Rio de Janeiro. Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd. s/d.a

RIO DE JANEIRO. Secretaria de Estado de Educação. Revista Bonificação por Resultados: Tudo que você precisa saber sobre bonificação por resultados da SEEDUC. Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd. Juiz de Fora, s/d.b

RODRIGUES, J. R. S. Resultados escolares e responsabilização no Rio de Janeiro. 2007. 96f. Dissertação (Mestrado em Educação) - Pontifícia Universidade Católica do Rio de Janeiro. Rio de Janeiro, 2007. Disponível em <http://www.maxwell.vrac.puc-rio.br/10418/10418_1.PDF>. Acesso em 07/05/2013.

SHIROMA, E. O; EVANGELISTA, O. Avaliação e responsabilização pelos resultados: atualização nas formas de gestão de professores. Perspectiva, Florianópolis, v. 29, n. 1, 127-160, jan./jun. 2011. DOI: 10.5007/2175-795X.2011v29n1p127

SILVA, M. R; ABREU, C. B. Reformas para quê? As políticas educacionais dos anos 1990, o 'novo projeto de formação' e os resultados das avaliações nacionais. Perspectiva, v. 26, p. 523-550, 2008.

SORDI, M. R. L; LUDKE, M. Da avaliação da aprendizagem à avaliação institucional: aprendizagens necessárias. Avaliação: Revista de Avaliação do Ensino Superior (Campinas), Sorocaba, v.14, n.2, p.253-266, jul.2009. DOI: 10.1590/S1414-40772009000200005

Notas