Introdução

No Brasil, o Índice de Desenvolvimento da Educação Básica (IDEB) popularizou-se como meio de medir qualidade. Todavia, de qual qualidade se fala? Ainda que se entenda a “qualidade” como qualidade do ensino, não é recente o debate quanto aos limites desse índice, considerando o seu desenho, o instrumento de coleta de dados e, em decorrência, a sua impossibilidade de abranger as dimensões necessárias à efetivação de tal qualidade, principalmente porque não se pode supor que a qualidade do ensino esteja desvinculada dos outros aspectos da qualidade educacional como um todo (Almeida et al., 2013; Dourado & Oliveira, 2009; Dalben & Almeida, 2015; Duarte, 2013). No debate que deu origem ao Plano de Desenvolvimento da Educação como parte de um pacote de medidas focadas na melhoria da qualidade da educação brasileira, o governo federal, segundo dados oficiais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2011), passou a entender que a melhoria não se faz sem diagnóstico. Isso gerou a necessidade de construir um índice capaz de retratar a situação das redes e escolas do país. O IDEB surgiu, oficialmente, dessa expectativa de construção de um índice sintético capaz de analisar a situação da educação nacional (Instituto Nacional de Estudos e Pesquisas Educacionais, 2007). Com o alargamento das políticas educacionais e a anunciada busca por medidas de qualidade educacional, em 2007 o governo federal criou o IDEB, objetivando-o como indicador que possibilitaria um monitoramento permanente do progresso dos sistemas em relação às metas e resultados fixados para a educação brasileira.

Todavia, inferir qualidade é algo complexo, e não parece plausível fazê-lo pautando-se, prioritariamente, em resultados de avaliações cujo principal instrumento seja o teste padronizado para medir o desempenho dos estudantes em poucas áreas do conhecimento. Estipular metas a serem alcançadas a partir dessas avaliações e ter escolas que as alcancem não significa, necessariamente, que estas sejam de qualidade. A qualidade educacional está ligada à emancipação dos sujeitos sociais em todas as suas dimensões, à organização do trabalho pedagógico, aos projetos escolares, à participação democrática e a um ambiente saudável onde haja o respeito pelas diferenças e onde não haja exclusão (Dourado & Oliveira, 2009). Esses são aspectos essenciais para que se efetive a qualidade do ensino - e não podem ser medidos pelos instrumentos utilizados atualmente por tais avaliações.

Nesse sentido, apesar da “cultura da avaliação” estar muito presente na educação, não é possível identificar a melhoria da qualidade do ensino por esse parâmetro, já que “ao avanço na dimensão técnica da avaliação não tem correspondido um avanço em seu potencial indutor de políticas e práticas” (Sousa & Oliveira, 2010, p.817). Esta constatação não só leva a indagar qual a real potencialidade do IDEB em medir a qualidade produzida pelas escolas, mas também se ele pode auxiliar as escolas na busca de uma qualidade real, cujo objetivo maior seja a formação ampla do aluno, considerando que a qualidade do ensino é uma das dimensões necessárias, mas não a única, e não se efetiva sem as demais (Almeida, 2014b).

Com o objetivo de investigar como os professores têm interpretado os resultados das avaliações externas e de modo especial o IDEB, de forma a compreender como eles têm se percebido nos resultados, o presente artigo problematiza os limites desse índice, que se pretende uma medida da qualidade da educação brasileira (Vilas Boas, 2016). Utilizando os dados obtidos em grupos focais desenvolvidos da rede municipal de Pouso Alegre (MG), selecionadas a partir de seus resultados no IDEB (uma abaixo da média da rede, outra na média e a terceira acima), este trabalho analisa como os professores têm visto os resultados de suas escolas, focando sua percepção quanto à representatividade do IDEB como retrato da qualidade produzida na instituição escolar.

Compreender como as escolas têm percebido seus resultados e se estes são aptos a refletir o trabalho desenvolvido, não apenas auxilia a analisar as potencialidades e limites daqueles resultados como retrato da qualidade, como também permite apontar quais são os aspectos considerados como qualidade nessas instituições. Assim, elucidam-se outros importantes elementos do cotidiano escolar que, na percepção dos professores, constituem a qualidade produzida, ainda que não sejam valorizados como tal pela política pública de avaliação.

Procedimentos Metodológicos

As delimitações da pesquisa: opções e trajetória

O uso dos resultados das avaliações externas tem sido tema central de muitos estudos, uma vez que indicam avanços e deficiências nas políticas públicas e no trabalho das redes e escolas. Entretanto, muitas questões do cotidiano escolar precisam ser analisadas para que se possam compreender melhor as possibilidades reveladoras da realidade a partir de tais resultados e os desafios para seu uso pelos sujeitos envolvidos.

No desenvolvimento deste trabalho, procurou-se compreender como os professores se percebem nos resultados das avaliações externas, tendo como foco sua percepção sobre os limites e possibilidades do IDEB como indicador da qualidade educacional produzida na escola. Com ancoragem na metodologia qualitativa de pesquisa, optou-se por investigar o fenômeno, tomando como fonte de informação professores que atuam em escolas de Ensino Fundamental da rede municipal da cidade de Pouso Alegre (MG), considerando os resultados crescentes da rede no IDEB.

A rede municipal de Pouso Alegre possui 15 escolas de Ensino Fundamental, cuja média no IDEB em 2013 foi de 6.1 para os anos iniciais e 5.1 para os anos finais - superior, pois, à meta fixada pelo Instituto Nacional de Estudos e Pesquisas Educacionais, responsável pelo processamento do IDEB, de 5.8 e 4.6, respectivamente.

Considerando a impossibilidade de abranger todos os professores da rede, e tomando como importante aspecto de inclusão escolas com diferentes resultados no índice, optou-se pelo próprio IDEB como parâmetro de eleição das escolas partícipes da pesquisa. A amostra abarcou escolas com diferentes posições em relação à média da rede nos anos iniciais do Ensino Fundamental, sendo escolhidas para estudo uma escola acima da média do município (Escola Violeta), uma escola na média do município (Escola Orquídea) e uma escola abaixo da média do município (Escola Margarida) (Tabela 1).

Tabela 1
Meta e índice atingido nas escolas pesquisadas em 2013.

Escolas Pesquisadas	Anos Iniciais EF	Anos Finais EF
Violeta	6,7	5,7
Orquídea	6,2	5,5
Margarida	5,5	4,5

A partir das decisões tomadas e considerando os apontamentos de Gatti (2005) tomou-se como instrumento de coleta de dados o Grupo Focal, por se reconhecer que essa técnica possibilitaria a observação do olhar partilhado dos professores sobre a realidade da instituição em que trabalham. Por meio da discussão no grupo foi possível o acesso a uma rica análise da questão, com pontos e contrapontos que podiam, de pronto, ser confirmados ou refutados pelos participantes da dinâmica.

Os Grupos Focais foram realizados nas próprias escolas, o que facilitou a participação dos docentes. Como indica a literatura da área, foram mobilizados dois pesquisadores: um coordenador do debate e outro observador. Foram reiterados aos participantes o objetivo da pesquisa e as delimitações da dinâmica do grupo focal, assim como foi pedida sua anuência por meio de Termo de Consentimento Livre e Esclarecido. De acordo com a indicação da literatura, o coordenador do grupo se apoiou em um roteiro para mobilizar as discussões, que, em média, tiveram a participação de dez professores em cada grupo. A pesquisa foi desenvolvida com dois grupos em cada escola, sendo um de professores dos anos iniciais do Ensino Fundamental e outro de professores dos anos finais, totalizando seis grupos focais.

O tempo de duração foi de, aproximadamente, uma hora para cada grupo, e as questões que nortearam as discussões foram as seguintes:

• De quais avaliações externas a escola participa?

• Como se dá essa participação?

• Em relação ao IDEB da escola, vocês acham que ele reflete o trabalho desenvolvido na escola?

• O que ele revela?

• O que ele não revela?

O primeiro Grupo Focal foi realizado na escola com resultado acima da média do município, Escola Violeta, com os professores dos anos iniciais. Trata-se de uma escola bem organizada e orgulhosa de seus resultados. Está localizada em bairro de classe média da cidade, e a maioria dos professores tem idade acima de 40 anos e trabalha na escola há mais de dez anos.

Já o segundo grupo foi realizado na escola com desempenho abaixo da média, Escola Margarida, na qual, também, a maioria dos professores possui mais de 40 anos, mas somente dois têm mais de dez anos de tempo de serviço na escola. A escola atende alunos no período integral e está localizada em um bairro pobre da cidade.

A terceira escola, com resultado na média do município, Escola Orquídea, tem localização na zona rural, e a maioria dos professores tem mais de 40 anos e já trabalha na escola há mais de dez anos.

Uma vez terminada a coleta de dados com os professores dos anos iniciais, os pesquisadores retornaram às escolas para a pesquisa com os professores dos anos finais. Novamente iniciou-se com a Escola Violeta, em seguida a Escola Margarida e por fim a Escola Orquídea. Em todas as instituições escolares, a maioria dos professores trabalha em outras instituições e há variação no quesito idade e tempo de exercício do magistério, sendo um grupo diversificado em todas as instituições pesquisadas.

Para análise dos dados, procedeu-se à transcrição das falas dos grupos focais e iniciou-se o processo de análise de conteúdo, com inspiração no trabalho de Bardin (2011). O primeiro passo foi organizar o material, de forma a obter um corpus detalhado e confiável de cada grupo. A partir dessa organização, procedeu-se a uma leitura flutuante, em que foram destacados os temas tratados nos grupos, procurando os conteúdos abordados pelos sujeitos. Em seguida, tais temas foram agrupados em temáticas, que permitiram a aproximação sistematizada com os dados coletados.

O Índice de Desenvolvimento da Educação Básica na Escola

A institucionalização do Sistema de Avaliação da Educação Básica trouxe implicações às políticas públicas de educação dos estados e municípios brasileiros, envolvendo as instituições, o currículo, os profissionais e os estudantes. Com ele, ocorreu uma importante mudança na qual o Estado passou a ter o papel de “avaliador” (Afonso, 2014, p.5), buscando a qualidade a partir de mecanismos de avaliação externa dos resultados, sem que o processo de construção de tal qualidade no cotidiano escolar seja foco da política pública.

Sob influência direta das agências internacionais, o delineamento das propostas de avaliação de sistemas demonstra claro interesse na eficácia dos investimentos em educação, a qual já não é vista como direito social, mas como produto capaz de oferecer, em curto prazo, mão de obra qualificada. É o que Saviani (2008, p.296) chamou de movimento de “formação de recursos humanos para o desenvolvimento econômico dentro dos parâmetros da ordem capitalista”. Os resultados das avaliações externas, por sua vez, passam a orientar várias ações e políticas educacionais e a indicar os limites do ensino ofertado dentro dos parâmetros postos pela política.

Com o alargamento da busca por medidas da “qualidade educacional”, o governo federal criou em 2007 o Índice de Desenvolvimento da Educação Básica, objetivando-o como indicador da qualidade educacional no país e pleiteando-o como monitoramento permanente do progresso dos sistemas em relação às metas fixadas. Coordenando fluxo e desempenho, o IDEB se consolidou no cenário nacional como a medida mais visível do processo de avaliação externa em larga escala, sendo o resultado mais amplamente divulgado para as escolas e a sociedade, popularmente conhecido como a “nota da escola”.

Se por um lado esse índice pode auxiliar a escola a entender sua realidade e nela agir, por outro acaba gerando a focalização em ações voltadas para a melhoria daquele índice, especialmente com vistas ao fluxo de aprovação, ao treino para o teste e à ênfase nas habilidades e competências avaliadas na Avaliação Nacional da Educação Básica e na Avaliação Nacional do Rendimento Escolar, mais conhecida como Prova Brasil. Todavia, essa apropriação dos dados desligada de outras análises se mostra uma ação equivocada, tendendo a distanciar as escolas e redes dos desafios reais de seu cotidiano, passando a focar apenas aspectos que colaborem para a melhoria no índice, nem sempre os mais urgentes e necessários à realidade vivida.

De acordo com Sousa (2014), considerar os resultados obtidos pelos alunos como a principal evidência da qualidade de uma rede de ensino ou instituição, sem considerar os contextos de produção e reprodução dos saberes escolares, expressa uma noção restrita de qualidade. Sob o argumento da transparência nos programas e planos governamentais, inserem-se mecanismos que visam dar ampla visibilidade aos resultados das avaliações e, em alguns casos, responsabilizar profissionais e escola por meio de incentivos simbólicos ou monetários, com vistas à indução de mudança. Estas, todavia, têm servido mais a criar estratégias de aumento do índice, que ações de verdadeiro replanejamento que levem a um trabalho mais produtivo.

Nesse sentido, as informações produzidas pelas avaliações em larga escala e especialmente pelo IDEB, trazem dados que podem ajudar as escolas a (re)planejarem seu trabalho buscando a melhoria da qualidade. Todavia, tais avaliações não podem ser tomadas como parâmetro único, como destacam Almeida et al. (2013, p.1162):

[...] ao ser interpretado como reflexo do trabalho desenvolvido pelas escolas, o IDEB possui limitações postas pelo próprio delineamento que não o viabilizam como tal, podendo ser, por isso mesmo, apenas um dos indicadores da avaliação das escolas, mas de forma alguma o único.

Embora a busca pela qualidade muitas vezes seja associada a metas a serem atingidas pelas escolas, não se pode dizer que, por alcançar as metas, uma escola seja de qualidade. A qualidade da educação está menos referida à existência e correspondência de padrões externamente estabelecidos e centralmente controlados, e mais ao atendimento de necessidades de grande parte da população brasileira: uma qualidade referenciada na escola real, cuja eficácia é cotidianamente problematizada pelo compartilhar do ‘mal-estar social’ comum a alunos e docentes (Freitas, 2004).

Assim, a educação de qualidade é aquela que contribui para a formação dos estudantes nos diversos aspectos - afetivo, físico, emocional, social, estético e cognitivo -, preparando-os para transformar sua realidade. Seriam, nesse viés, os resultados das avaliações externas capazes de refletir o trabalho desenvolvido nas escolas? Seria o IDEB um bom indicador da qualidade construída pela escola em seu dia a dia?

Enfrentando o primeiro questionamento, Sousa (2011) esclarece que, apesar de as avaliações externas trazerem informações para a formulação de políticas educacionais, elas não dão conta da amplitude e complexidade do trabalho escolar, correndo o risco de servirem à intensificação das desigualdades educacionais:

Estas avaliações restringem-se aos resultados de desempenho dos alunos, em geral, em provas de português e matemática, não contemplando nem todas as áreas de conhecimento que são tratadas na escola, nem as diversas dimensões em que se trabalha com o aluno no âmbito da escola, especialmente no nível de atitude [...], não se incorpora, na análise dos resultados, um exame dos fatores associados; ou seja, os níveis de proficiência dos alunos, obtidos por meio das provas, não são interpretados à luz das características e condições da rede de ensino, da escola e de seus alunos (Sousa, 2011, p.311).

Corroborando a análise, Almeida et al. (2013) acreditam que, apesar de o IDEB estar sendo utilizado como reflexo do trabalho desenvolvido pelas escolas, não parece um retrato fiel da realidade. A qualidade que se busca perpassa vários aspectos que interferem na educação e fazem parte do contexto de cada escola. Nesse sentido, ouvir os professores oferece dados para que se possa entender, na percepção dos profissionais que atuam na construção cotidiana da educação nacional, as potencialidades e limites dos resultados. Esta abordagem revela um panorama do que são capazes de refletir em relação ao trabalho desenvolvido na escola e quais aspectos não são desconsiderados na elaboração dos índices, mas se configuram, na percepção docente, como importantes partícipes do que se poderia compreender como qualidade.

Resultados e Discussão

Potencialidade da avaliação externa como retrato da escola na percepção dos professores

Ouvir os professores oferece dados essenciais para compreender, na percepção desses profissionais, se os resultados das avaliações externas podem servir como parâmetro de conhecimento das escolas - dando, no limite, um panorama do que são ou não capazes de refletir quanto ao trabalho desenvolvido.

Os professores partícipes da pesquisa elencaram algumas críticas em relação às avaliações e, de forma geral, concordam que elas não contemplam em sua possibilidade de captura da realidade as especificidades de cada escola. Especialmente quanto ao IDEB, estes profissionais não vêm o índice de suas escolas como reflexo de toda a qualidade produzida por elas. Esse aspecto já foi observado por Fontanive (2013, p.95), quando explicita que o professor não se identifica nos resultados das avaliações externas ou “não vê sua prática pedagógica neles representada”.

Ao se analisarem os dados coletados, observou-se que em todas as escolas há a percepção de que o índice não é capaz de retratar toda a qualidade produzida. Ainda que a Escola Violeta se sinta mais confortável com os resultados obtidos, estando contente com seu índice, ao se manifestarem durante o grupo focal, os professores também explicitam aspectos vivenciados na escola e compreendidos como importantes para a construção da sua qualidade, mas que são desconsiderados pelos processos de avaliação. Contentes com seu IDEB, os professores da Escola Violeta acreditam que ele é fruto do esforço de cada um, porém frisam que ele não abarca tudo o que realizam em sala de aula em relação à especificidade dos alunos:

A escola colocou faixas lá fora, parabenizando os alunos, os professores [...]. É bom, é legal, a gente se sente feliz [...] (P1-AI). Os alunos também ficaram sabendo do resultado, a família, os pais. Eles também ficaram se sentindo importantes [...] (P11-AI). Quer dizer, a gente tem aquele olhar diferente e chega numa prova é tudo igual. Então, definitivamente, ela não reflete muito a realidade da sala de aula [...] (P1-AI). Ela estava falando que a gente trabalha a inclusão e essas avaliações que vem, acabam excluindo [...] A gente trabalha diferenciado, depois vêm essas avaliações que são igual para todo mundo [...] (P12-AI) (GF - Anos Iniciais - Escola Violeta).

Menos contentes com seu índice, mas vendo positivamente sua evolução, os professores da Escola Orquídea observam os resultados como fruto do trabalho coletivo da escola, ainda que sinalizem que ele não reflete completamente seus esforços, especialmente considerando a população atendida pela escola:

Nós estamos progredindo. Nós estamos contentes. O resultado está aumentando. Não chega a ser aquele aumento [...], mas nós estamos caminhando (P4-AI) (GF - Anos Iniciais - Escola Orquídea).

[...] Para mim não é referência. Eu estou sendo sincera. Porque eu acho que não leva em consideração a realidade da escola, a nossa realidade [...] (P1-AF) (GF - Anos Finais - Escola Orquídea).

Descontentes com seu índice, os professores da Escola Margarida acreditam que o IDEB não reflete a realidade deles e acaba reforçando ainda mais as desigualdades que enfrentam em seu dia a dia, relatando que se sentem discriminados, até mesmo por quem deveria ajudá-los:

Eu não me preocupo com esses resultados não. Eu me preocupo com o trabalho com meu aluno lá, no dia a dia, porque a evolução que ele tem não é mostrada nessa prova (P9-AI). [...] a gente vê que algumas escolas mais centrais, digamos assim, ou de bairros que a comunidade tem melhor poder aquisitivo e tudo, a gente vê que essas escolas têm muito mais assistência por parte da nossa secretaria de educação. [...] (P8-AI). O olhar da secretaria é um olhar diferente [...] (P5-AI). Deveria ser o contrário, deveria olhar quem tem mais necessidade (P7-AI) (GF - Anos Iniciais - Escola Margarida).

Considerando especificamente a observação dos professores sobre a falta de auxílio por parte da secretaria para as escolas que mais precisam, pode-se observar, como bem pontua Freitas (2007, p.969), que o sistema de avaliação produz a “responsabilização da escola”, perpetuando, e muitas vezes aumentando, a desigualdade entre as instituições dentro de uma lógica de mercado em que os “provedores do serviço” devem melhorar sua “oferta” segundo as avaliações do “produto”, sem que se efetive um acompanhamento ou incremento de insumos para isso:

Não é sem razão que os melhores desempenhos escolares estão nas camadas com melhor nível socioeconômico, brancas (Cf. Miranda, 2006, entre outros estudos disponíveis). Isso não significa que todas as escolas não tenham de ser eficazes em sua ação. Muito menos que as escolas que atendem à pobreza estejam desculpadas por não ensinarem, já que têm alunos com mais dificuldades para acompanhar os afazeres da escola. Ao contrário, delas se espera mais competência ainda. Mas os meios e as formas de se obter essa qualidade não serão efetivos entregando as escolas à lógica mercadológica (Freitas, 2007, p.969).

Mesmo na Escola Violeta, com índice acima da média da rede, a fala dos professores transparece a percepção do resultado como distante da realidade vivida, em que, ainda que a meta tenha sido ultrapassada, há estudantes que não têm se desenvolvido como deveriam, o que, possivelmente, revelaria uma visão de desenvolvimento aquém do que se esperaria se realmente se objetivasse a todos e a cada um dos estudantes a garantia da qualidade:

[...] Nós aqui já estamos alcançando o IDEB de 2022, mas se você entrar mesmo dentro da sala de aula, você vai ver que tem muito aluno na fase pré-silábica, na fase de fonema, do sexto ano, que não conseguiu ainda. E aí?!? A minha matéria não é nem português, nem matemática. A minha matéria é ciências. Se eu passo uma conta de dividir, de multiplicar, com um número acima de dois algarismos, nossa, eles quebram a cabeça. Então, eu fico pensando: será que realmente nós estamos atingindo o índice de desenvolvimento? (P11-AF) (GF - Anos Finais - Escola Violeta).

Ainda que as escolas Violeta e Orquídea se sintam mais bem retratadas pelo IDEB que a Escola Margarida, são frequentes as declarações críticas quanto à capacidade do IDEB em ser representativo da qualidade produzida nas escolas, e de ser o parâmetro para a qualidade almejada:

Parece até uma discrepância, eles fazem propaganda que está melhorando aqui, mas melhorando em quê? (P13-AF). [...] esse IDEB pra mim, é nisso aí que tá [...] Por quê? Porque ele não tá medindo o tempo realmente de aprendizado, ele não tá medindo realmente as experiências que o aluno teve. Ele padronizou aquilo ali, encaixotou, “tem que caber aqui oh!” É isso aí (P11-AF) (Gf - Anos Finais - Escola Violeta).

Na Escola Orquídea, as críticas dos professores dos anos iniciais giram em torno da aplicação dos testes e sua impossibilidade de contemplar as especificidades da escola. Os professores dos anos finais relataram que a escola possui alunos campeões das Olimpíadas de Matemática, outros que estão inseridos no programa Ciências sem Fronteiras, também alguns que já ingressaram nas faculdades federais e técnicas e, para eles, os resultados não contemplam essas questões. Segundo um dos professores, o índice não consegue verificar o desenvolvimento do aluno, de como ele chegou à escola e como ele se encontra atualmente. Para os participantes, esses aspectos parecem indicadores importantes da qualidade produzida na escola, mas são desconsiderados na composição do IDEB:

Essa escola nossa, ela tem um IDEB na média, só que nós temos, por exemplo, todo ano dois, três alunos medalhistas das Olimpíadas de Matemática [...]. Aí, por exemplo, vamos exemplificar essa situação: o IDEB de qualquer escola, cada vez está pior. Aqui não é diferente. Só que nós temos hoje, pelo menos cinco alunos que estão fazendo intercâmbio no Ciências sem Fronteiras. Aí, como se o IDEB é ruim, e o IDEB é a avaliação da escola, então, conclui-se que o ensino da escola não está bom. Mas como que tem aluno fazendo intercâmbio? (P6-AF). A gente tem aluno na FAI de Santa Rita. Tem aluno lá no Instituto [Federal] (P1-AF). Todo ano tem aluno que passa em federal, passa em tudo [...]” (P6-AF) (GF - Anos Finais - Escola Orquídea).

Outro aspecto interessante a ser destacado é a preocupação expressa pelos professores dos anos iniciais dessa escola (Orquídea) de que as ações implementadas não sejam específicas para a melhoria da nota, mas para a aprendizagem geral do aluno - aspecto, segundo os entrevistados, não captado pelas avaliações externas:

Eu acho que o que não mostra é que a gente não foca só naquela nota e só naquele resultado do aluno. Nós temos um olhar diferenciado para aquele aluno que tem dificuldade e mesmo que ele não tenha ido bem, o que a gente quer não é que ele tenha a melhor nota, a gente quer que esse aluno avance e, de repente, se esse pequeno avanço não aparece nesse resultado. Esse avanço não aparece porque às vezes esse aluno não vai bem, mas quando a gente pega o portfólio dele, lá do início de quando ele entrou, a gente olha o avanço daquele menino e faz com que a gente se sinta bem e isso o resultado não mostra. Acho que é o nosso diferencial (P5-AI) (GF - Anos Iniciais - Escola Orquídea).

Especialmente na Escola Margarida, pôde-se perceber descontentamento completo quanto à potencialidade de os resultados refletirem o trabalho desenvolvido. Isso porque, segundo os professores, como as necessidades dos alunos passam por questões anteriores ao que é testado nas provas, ainda que eles desenvolvam o que consideram importante trabalho para a população atendida, esse trabalho não é captado pelos fatores avaliados e, consequentemente, não é refletido nos índices da escola:

Acho que outro ponto também aqui que esses resultados não refletem muito o nosso trabalho é que nós temos outras necessidades, até antes de alfabetizá-los, ler e escrever, vamos dizer assim [...]. Como o básico, de usar um banheiro, de falar, aprender a falar, saber comer [...]. Esse tipo de coisa que teria que vir de casa, da família [...] . Nós temos que trabalhar antes de começar a alfabetizar [...] Por mais que a gente tente levar tudo junto, é muito complicado. Muito difícil. Então, a gente acaba tendo que suprir o que a família não fez. Daí, depois vem uma avaliação dessas, que não tem nada a ver com a nossa realidade (P9-AI) (GF - Anos Iniciais - Escola Margarida).

[...] Por mais que os professores trabalhem, de modo até especial, os professores de língua portuguesa, coitados. Nós não vamos conseguir sanar as deficiências do menino naquilo (P10-AF). [...] os nossos alunos só têm contato com as letras nessas quatro horas e meia que eles ficam na escola. Sabe, eles não têm [...]. Foi o que ela falou no início, a falta da oralidade [...] A gente nota que no trato deles para com os colegas, eles são muito agressivos, usam de vocabulário bem chulo, sabe, então a gente percebe que há muita violência dentro de casa e eles são paupérrimos no vocabulário. Aí nós ficamos aquém, o resultado fica aquém por tudo isso. E aí é cobrado quando chega o IDEB, ‘olha é tanto, o ranking das escolas municipais. Olha, onde nós estamos [...]”. Mas ninguém veio aqui, ninguém vem aqui pra fazer essa avaliação, essa triagem (P1-AF) (GF - Anos Finais - Escola Margarida).

Interessa destacar que, pelas declarações dos sujeitos, parece que todas essas críticas existem porque, de alguma forma, os resultados das avaliações acabam interferindo no cotidiano da escola e nem sempre refletindo tudo o que nela ocorre. Compreender o trabalho desenvolvido em cada instituição exige, segundo Freitas (2007), considerar vários fatores que estão presentes em seu dia a dia. Dessa forma, colocar uma escola em uma posição em relação à outra, ranqueá-la ou pressioná-la para alcançar bons resultados, não fará surgir uma educação de qualidade, se se considerar que este é um conceito polissêmico. Nesse sentido, os professores expressam diferentes qualidades que para eles são construídas no cotidiano e nem sempre contempladas pelo índice, devendo, no entendimento de Freitas (2005), ser ela negociada para efetivamente corresponder ao anseio do coletivo.

Considerando, portanto, essa característica polissêmica e multidimensional da qualidade, alguns autores defendem que sua avaliação, para ser coerente, deve contar, também, com diferentes dimensões. Dalben e Almeida (2015), debatendo a avaliação multidimensional em larga escala, explicitam que se a realidade de uma escola é complexa, a medida de sua qualidade não poderia ser menos complexa e, como explicitam os professores desta pesquisa, parece demasiadamente restrito considerar apenas a medição feita. Não apenas pelo que avalia, mas pelo que deixa de avaliar outras áreas, o IDEB induz as escolas e seus profissionais a focarem somente as áreas medidas, deixando outras, igualmente importantes, fora dos planos de ação, pelas escolas serem cooptados pela lógica de melhoramento dos índices:

Eu queria perguntar também por que só Português e Matemática? Por que eles não avaliam o todo? Não avaliam o conjunto? Não avaliam a obra da escola? [...] (P11-AF). Coitado de quem ensina artes então, porque a arte não tem valor na escola, não na parte nossa assim, na estrutura em geral [...]. A menina dança muito bem, mas ela é ruim nas outras matérias, então já é uma menina problemática. Um desenhista, um esportista [...] Cabe ressaltar que essas habilidades não se cobram [...] (P7-AF) (GF - Anos Finais - Escola Violeta).

Mas o resultado acaba interferindo bastante, porque a gente muda o foco, muitas vezes muda em função do resultado [...] (P5-AI) (GF - Anos Iniciais - Escola Orquídea).

A avaliação é muito superficial porque não é feita com todas as disciplinas, só português e matemática. Então, eu não sei se só português e matemática avalia o menino [...] (P7-AF) (GF - Anos Finais - Escola Orquídea).

Diversos resultados de pesquisas da área vêm demonstrando o direcionamento das ações escolares e o estreitamento curricular em decorrência das avaliações externas. Como evidenciado por Sousa e Arcas (2010) ao debaterem as implicações da avaliação externa nas escolas estaduais do Estado de São Paulo, os professores passam a restringir o conteúdo à matriz da avaliação externa, focando as habilidades e competências exigidas para que os estudantes respondam ao teste e, consequentemente, melhorem seu desempenho e aumentem seu Índice.

Os resultados acabam interferindo bastante no cotidiano da escola, nas práticas pedagógicas e no currículo. Freitas (2012), analisando os processos de avaliação externa e considerando preocupante os efeitos que geram na organização do trabalho pedagógico das escolas, alerta que em nome do “básico” acaba-se por não contemplar outras questões relevantes para a formação do aluno. Baseadas em uma lógica empresarial, as políticas estipulam “um corpo de habilidades básicas de vida, suficiente para atender aos interesses das corporações e limitado a algumas áreas de aprendizagem restritas (usualmente leitura, matemática e ciência)” (p.389), em que não se destacam objetivos elevados nem pensamento crítico:

Assume-se que o que é valorizado pelo teste é bom para todos, já que é o básico. Mas o que não está sendo dito é que a “focalização no básico” restringe o currículo de formação da juventude e deixa muita coisa relevante de fora, exatamente o que se poderia chamar de “boa educação”. Além disso, assinala para o magistério que, se conseguir ensinar o básico, já está bom, em especial para os mais pobres (Freitas, 2012, p.389).

Fica claro, pela fala dos professores participantes desta pesquisa, que as avaliações externas apresentam um retrato parcial da realidade da escola, deixando de fora situações que interferem diretamente no cotidiano e que, consequentemente, influenciam o aprendizado dos alunos e o trabalho dos professores:

As políticas educacionais vigentes escolheram a avaliação como seu grande aliado. Avalia-se tudo hoje, com requintes de perversidade na medida que a relação entre produção de êxito e fracasso tanto das instituições de ensino como de seus atores (professores e alunos) está desvinculada das condições objetivas existentes sendo que estas se mostram determinantes no resultado final (Sordi & Malavasi, 2004, p.109).

Embora se reconheça a possibilidade de efeitos positivos das avaliações externas nas instituições de ensino, a literatura indica que a maneira como elas vêm sendo realizadas e divulgados os seus resultados não tem produzido real melhoria da qualidade da educação, já que há um distanciamento entre o que é avaliado e a potencialidade do trabalho desenvolvido pelas escolas (Almeida, 2014b).

A partir dos dados coletados, é possível perceber que o IDEB não consegue retratar toda a realidade da escola e deixa de fora questões muito importantes para a análise da qualidade do ensino, sinalizando que a avaliação que será utilizada para compor o índice deva ser mais criteriosa e complexa e contemple o contexto singular em que cada escola está inserida.

Na contramão do que se poderia almejar como a construção da qualidade das escolas, o que se nota é uma responsabilização vertical das mesmas. É claro que se sabe que a escola tem responsabilidade, mas não só ela. É preciso que se cuide das condições para o desenvolvimento do trabalho pedagógico e que se reconheça a necessidade de partilha de responsabilidades, assim como a necessidade de se valorizar o que é produzido pelas instituições e tem grande potencialidade na construção de uma qualidade socialmente referenciada (Almeida 2014a). A realidade deve ser conhecida em sua amplitude de aspectos para que possa dar lugar à ação, não apenas da escola isoladamente, mas de forma coletiva.

Considerações Finais

Estudar e entender como os professores percebem seu trabalho frente aos resultados das avaliações externas, especialmente em relação ao IDEB que se objetiva como índice de qualidade educacional, é de fundamental importância se se quer compreender os limites e as possibilidades de seus resultados como reflexo do trabalho desenvolvido nas escolas e parte do processo de seu aprimoramento.

A utilização dos resultados das avaliações externas e dos índices como única fonte para se conhecer a realidade de uma escola é superficial, dado que a avaliação deveria considerar todo o processo educativo abarcando as diferentes variáveis que contribuem para a aprendizagem (Sousa, 2014).

Nas três escolas pesquisadas, ficou evidente que o planejamento do trabalho pedagógico é pautado pelo IDEB e pelos resultados da Prova Brasil, como esforço da equipe em superar as metas estipuladas pelo governo. Para os professores das escolas Violeta e Orquídea, prevalece um sentimento de alegria por seus resultados, mas também de cansaço por terem que sempre superar metas, sem que o índice abarque tudo o que fazem em prol dos estudantes. Já na Escola Margarida, os professores expressaram muita frustração e sentimento de exclusão perante a rede, por não conseguirem alcançar um bom resultado e pelo que consideram como trabalho trabalho produtivo não reconhecido pelo índice.

Diferentemente do que indicam Sousa e Oliveira (2010), os professores das escolas pesquisadas explicitaram usar os resultados para pautar o que será o foco do trabalho. Diante dos resultados obtidos, as escolas fazem análise daquilo que ficou falho e se debruçam sobre o que deve ser reforçado para a melhoria dos resultados. Ou seja, a escola passa a trabalhar em cima dos descritores e habilidades que não tiveram bom resultado na avaliação, levando os professores a focarem o trabalho pedagógico no resultado.

Todavia, apesar de os professores terem acesso aos resultados e adequarem suas ações a partir deles, nota-se que não parecem satisfeitos com o rumo tomado. Usam os resultados, mas não compartilham o objetivo final da ação: como remadores em um barco cujo destino não escolheram, ou seja, remam por remar. Nesse sentido, é preocupante perceber como o trabalho docente tem se voltado para a superação de metas, deixando de lado sua essência de formação humana e pedagógica (Almeida & Betini, 2015).

Os dados parecem sinalizar para a compreensão, por parte dos professores, de que a lógica estabelecida na sociedade, e da qual “é difícil escapar”, é a lógica da competição e do mérito, não se podendo adotar uma postura diferente na escola, pois é preciso, segundo a fala de uma professora (P4-AI Escola Orquídea), preparar os alunos para o ‘mundo lá fora’. Todavia, como criticam Almeida e Betini (2015), essa lógica simplesmente se volta para a ‘formação de uma mão de obra em que saber ler, escrever e fazer contas é suficiente’, aspecto que interessa tanto ao mercado que define a mão de obra que deseja, quanto aos empresários educacionais que veem aí um bom campo para os negócios, ‘especificamente a indústria dos testes’.

Pelos dados analisados, observa-se que há importantes dimensões do trabalho escolar que não são refletidas nos resultados obtidos pelas escolas. A escola com maior IDEB se sente refletida no bom resultado por se considerar boa escola, porém não acredita que todo o seu bom trabalho esteja contemplado no índice. Esse aspecto é ainda mais dramático para os professores da escola de menor resultado, considerando que aquilo que avaliam como seu “bom trabalho” não é reconhecido para a composição do índice.

Como aponta Freitas (2012), é preocupante como o ato de ensinar tem sido objetivado para e em função dos ‘testes’. O Sistema de Avaliação utiliza-se dos mecanismos de mercado para conseguir bons resultados, o que tem gerado competição entre profissionais e escolas, pressão por bons resultados e preparação para os testes, bem como fraudes, aumento da segregação socioeconômica dentro e fora da escola, precarização da formação docente e destruição moral do professor e do sistema público de ensino. A lógica que tem sido imposta ao sistema educacional ameaça a ‘educação como direito social’ (Coelho, 2008), uma vez que acaba restringindo o currículo e impondo que uma nota alta em teste seja sinônimo de boa educação.

Não se pode, todavia, desconsiderar o fato de que, mesmo com graves dificuldades, os professores da Escola Orquídea demonstram alto compromisso com a população atendida. Nesse sentido, e como destaca Almeida (2014b), a análise do trabalho e da realidade da escola deve ser aprofundada, pois há uma linha tênue entre o que é realmente causa de alguns resultados e o que é oportunamente usado como desculpa para não realizar um bom trabalho.

Todavia, embora as escolas trabalhem na perspectiva de superar metas, é visível o desejo de que se tenha mais liberdade e apoio para enfrentar as dificuldades do dia a dia. A cobrança exaustiva sobre os profissionais da educação por melhores resultados tem provocado um enorme cansaço e muitas críticas, especialmente no que se refere à falta de autonomia para desenvolverem um trabalho mais voltado à realidade da escola.

A questão da qualidade da educação precisa ser pensada e trabalhada para que se consiga não somente o “básico”, mas uma boa Educação real. Nas palavras de Sousa (2014, p.413):

A educação de qualidade visa à emancipação dos sujeitos sociais e não guarda em si mesma um conjunto de critérios que a delimite. É a partir da concepção de mundo, sociedade e educação que a escola procura desenvolver conhecimentos, habilidades e atitudes para encaminhar a forma pela qual o indivíduo vai se relacionar com a sociedade, com a natureza e consigo mesmo. A ‘educação de qualidade’ é aquela que contribui com a formação dos estudantes nos aspectos culturais, antropológicos, econômicos e políticos, para o desempenho de seu papel de cidadão no mundo, tornando-se, assim, uma qualidade referenciada no social. Nesse sentido, o ensino de qualidade está intimamente ligado à transformação da realidade.

Não se quer aqui desmerecer o papel das avaliações para a melhoria da qualidade educacional. Entretanto, ao se analisarem os dados da pesquisa, percebe-se que esses indicadores não retratam completamente a realidade e, mais do que isso, ao estabelecerem metas, apenas promovem processos de ranqueamento, sem que estes sejam frutíferos para a melhoria da qualidade ofertada. Obviamente não se pode negar a necessidade de esforço por parte das escolas para melhorar a educação de nosso país, entretanto o que fica claro é que o IDEB não reflete completamente todo o esforço empreendido, o qual deveria ser considerado positivamente ao se avaliar o trabalho desenvolvido nas instituições de ensino. Frise-se, nesse sentido, que mesmo a escola que se sente orgulhosa por seu resultado afirma que este não contempla de forma precisa a sua realidade.

Oliveira (2013), utilizando o conceito de “Qualidade Negociada” propagado por Freitas (2005), ressalta a importância de se ter um indicador para a garantia constitucional de padrão de qualidade a todos os cidadãos, mas um índice que contemple outras disciplinas e contenha elementos de “insumos e processos”. É necessário que se repensem as formas de avaliação existentes e, especialmente, o uso que se tem feito em relação a elas. Isso para que as escolas possam ser contempladas no que produzem de qualidade e, a partir de uma avaliação que reflita seu trabalho, possam construir ações que contribuam para a melhoria constante de sua atuação, em um índice que abarque as potencialidades do trabalho desenvolvido pelos professores, aptas à construção de uma qualidade verdadeira nas escolas, e que seja potente para o (re)pensar e (re)aprimorar constante das instituições de ensino do país.

Referências

Afonso, A.J. Questões, objetos e perspectivas em avaliação. Avaliação, v.19, n.2, p.407-426, 2014.

Almeida, L.C; Dalben, A.; Freitas, L.C. O Ideb: limites e ilusões de uma política educacional. Educação & Sociedade, v.34, n.125, p.1153-1174, 2013.

Almeida, L.C. As escolas em suas condições concretas: as políticas de avaliação são apropriadas para avaliá-las? In: Silva, R.R.D. et al. Políticas contemporâneas de escolarização no Brasil: uma agenda investigativa. Curitiba: CRV, 2014a.

Almeida, L.C. Relação entre o desempenho e o entorno social em escolas municipais de Campinas: a voz dos sujeitos. 2014. 326f. Tese (Doutorado) - Universidade Estadual de Campinas, Campinas, 2014b.

Almeida, L.C.; Betini, G.A. O uso de testes padronizados e de alto impacto na avaliação escolar e suas consequências. In: Cária, N.P. (Org.). Gestão educacional e avaliação: perspectivas e desafios contemporâneos. Campinas: Pontes, 2015.

Bardin, L. Análise de conteúdo. São Paulo: Edição 70, 2011.

Coelho, M.I.M. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaios: Avaliação e Politicas Públicas nem Educação, v.16, n.59, p.229-258, 2008.

Dalben, A.; Almeida, L.C. Para uma avaliação de larga escala multidimensional. Estudo em Avaliação Educacional, v.26, n.61, p.12-28, 2015.

Dourado, L.F; Oliveira, J.F. A Qualidade da Educação: perspectivas e desafios. Cadernos Cedes, v.29, n.78, p.201-215, 2009.

Duarte, N.S. O impacto da pobreza no IDEB: um estudo multinível. Revista Brasileira de Estudos Pedagógicos, v.94, n.237, p.343-363, 2013.

Fontanive, N.S. A divulgação dos resultados das avaliações dos sistemas escolares: limitações e perspectivas. Ensaio: Avaliação e Política Pública em Educação, v.21, n.78, p.83-100, 2013.

Freitas, D.N.T. Avaliação da educação básica e ação normativa federal. Cadernos de Pesquisa, v.34, n.123, p.663-689, 2004.

Freitas, L.C. Qualidade negociada: avaliação e contra-regulação na escola pública. Educação & Sociedade, v.26, n.92, p.911-933, 2005. Disponível em: <http://www.cedes.unicamp.br>. Acesso em: 15 abr. 2015.

Freitas, L.C. Eliminação adiada: o caso das classes populares no interior da escola e a ocultação da (má) qualidade do ensino. Educação & Sociedade, v.28, n.100, p.965-987, 2007.

Freitas, L.C. Os reformadores empresariais da educação: da desmoralização do magistério à destruição do sistema público de educação. Educação & Sociedade, v.33, n.119, p.379-404, 2012.

Gatti, B. A. Grupo focal na pesquisa em ciências sociais e humanas. Brasília: Líber Livro, 2005. (Série Pesquisa em Educação).

Instituto Nacional de Estudos e Pesquisas Educacionais. Índice de Desenvolvimento da Educação Básica. Brasília: INEP, 2007. (Texto para discussão, 26). Disponível em: <http://www.publicacoes.inep.gov.br/portal/download/503>. Acesso em: maio 2015.

Instituto Nacional de Estudos e Pesquisas Educacionais. Histórico/Saeb. Brasília: INEP, 2011. Disponível em: <http://portal.inep.gov.br/web/saeb/histórico>. Acesso em: 22 maio 2015.

Instituto Nacional de Estudos e Pesquisas Educacionais. IDEB: resultados e metas. Rio de Janeiro: INEP, 2015. Disponível em: <http://ideb.inep.gov.br/resultado/homeseam?cid=11718553>. Acesso em: 21 out. 2015.

Oliveira, R.P. A utilização de indicadores de qualidade na unidade escolar ou porque o IDEB é Insuficiente: implicações nas redes de ensino, no currículo e na formação de professores. In: Bauer, A.; Gatti, B.A. (Org.). Ciclo de Debates: vinte e cinco anos de avaliação de sistemas educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores. Florianópolis: Insular, 2013. v.2, p.87-100.

Saviani, D. Escola e democracia. Campinas: Autores Associados, 2008. (Edição Comemorativa).

Sordi, M.R.L; Malavasi, M.M.S. As duas faces da Avaliação: da realidade à utopia. Revista de Educação, n.17, p.105-115, 2004.

Sousa, S.Z.; Oliveira, R.P. Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, v.40, n.141, p.793-822, 2010.

Sousa, S.Z.; Arcas, P.H. Implicações da avaliação em larga escala no currículo: revelações de escolas estaduais de São Paulo. Educação: Teoria e Prática, v.20, n.35, p.181-199, 2010.

Sousa, S.Z. Avaliação em larga escala e os desafios à qualidade educacional. Roteiro, v.36, n.2, p.309-314, 2011.

Sousa, S.Z. Concepções de qualidade da educação básica forjadas por meio de avaliação em larga escala. Avaliação, v.19, n.2, p.407-42, 2014.

Vilas Boas, I.V. A percepção dos professores sobre o Ideb de sua escola: ele reflete o trabalho desenvolvido? 2016. 96f. Dissertação (Mestrado) - Universidade do Vale do Sapucaí, Pouso Alegre, 2016.

Notas

Autor notes

Correspondência para/Correspondence to: I.V. VILAS BOAS. E-mail: <ivanildavvb@yahoo.com.br>.