Avaliação de Redes de Ensino e Gestão Educacional: aportes teóricos

Assessment of Educational Systems and Educational Management: theoretical contributions

Adriana Bauer adbauer@fcc.org.br

Fundação Carlos Chagas, Brazil

Universidade de São Paulo, Brazil

Desde o último quartil do século XX tem-se observado, no Brasil, o desenvolvimento e a expansão de avaliações externas de redes de ensino não somente no âmbito federal, mas também nas esferas estaduais e municipais. Alguns dos mecanismos propulsores dessa expansão são: (1) a preocupação com a melhoria de indicadores educacionais de rendimento e desempenho, como o Ideb e as taxas de evasão e repetência, (2) a necessidade de melhorar a qualidade dos serviços educacionais ofertados e de (3) gerenciar, de forma eficaz, os recursos disponíveis para a educação, visando tanto (4) o aprimoramento do trabalho pedagógico realizado no interior das unidades escolares, quanto (5) a efetividade dos programas e/ou ações realizados, por meio da (6) produção de informações que suportem a tomada de decisões na área educacional (Bauer, 2012; Freitas, 2013). Soma-se a esses fatores a introdução de mecanismos e estratégias da nova gestão pública para a administração dos sistemas educacionais, dando à avaliação de redes de ensino um papel de destaque.

Cabe reconhecer que o interesse por formas de avaliação que pudessem auxiliar na administração e gestão dos sistemas de ensino não é um fenômeno recente, desencadeado em fins do século XX, sob a égide do denominado neoliberalismo. Coelho (2008) relembra que, no âmbito do Estado brasileiro, a discussão sobre a necessidade de avaliações que pudessem servir como instrumento de administração do sistema educacional remonta à década de 1930, sendo tais iniciativas comumente associadas à construção científica de fatores de qualidade, eficiência e produtividade do sistema.

Essa análise de Coelho ecoa no trabalho de Freitas (2005), que aponta que as justificativas dadas pelo Estado para avaliar foram distintas no período que vai do início do segundo quartil do século XX até sua efetivação por meio da testagem em larga escala no País, ocorrida no último decênio do século. Com o propósito inicial de verificar se os objetivos da educação nacional se cumpriam com vistas à expansão e melhoria, no decorrer dos anos as diversas formas de avaliação passaram a se justificar pelo discurso da necessidade de realizar diagnósticos e conhecer melhor a educação nacional, de modernizar e racionalizar a administração pública e, mais recentemente, de subsidiar a regulação estatal e servir como parâmetro para as decisões de gestão.

Foi a partir do final da década de 1990 que se expandiu um modelo de avaliação concretizado por meio de testagens em larga escala, que ganhou centralidade na administração e gestão das redes de ensino de estados e municípios brasileiros. Essa centralidade da avaliação para a gestão é expressa, inclusive, por sua presença nos últimos planos nacionais de educação. Werle (2011) destaca que no Plano Nacional de Educação de 2001 a avaliação aparece atrelada à elevação progressiva do nível de desempenho dos alunos, por meio da utilização do Sistema Nacional de Avaliação da Educação Básica (Saeb) e de seus indicadores de monitoramento.

O PNE 2014-2024 mantém a avaliação em um papel central, também fazendo referência ao Sistema Nacional de Avaliação da Educação Básica como orientador para as políticas públicas educacionais. Segundo Bandeira (2015), o papel conferido ao Ideb, pretenso indicador de qualidade da educação, que sintetiza informações de proficiência de alunos em testes em larga escala e de fluxo, para o monitoramento do alcance das metas propostas no documento, é central. A autora ressalta que o texto do PNE sugere uma estreita articulação entre a proposição curricular e a avaliação externa:

A meta 7 remete a melhoria da qualidade da educação básica às médias nacionais para o Índice de Desenvolvimento da Educação Básica (Ideb). Alcançar as metas do Ideb pretendidas se relaciona, segundo o documento, ao estabelecimento de diretrizes pedagógicas e à criação de uma base curricular nacional comum com definições de objetivos de aprendizagem para cada nível/série que serão medidos ao longo da vigência do PNE. Assim, o texto sugere uma relação entre alcance dos objetivos de aprendizagem estipulados pela base curricular nacional comum e a melhoria do Ideb. Para que isso ocorra os testes em larga escala teriam que dialogar com a base curricular nacional comum, ou seja, os processos teriam que ser pensados de maneira articulada e não isoladamente (Bandeira, 2015, p. 2).

Pode-se dizer, também, que o advento do Índice de Desenvolvimento da Educação Básica (Ideb) em 2007 inaugurou uma nova forma de relacionar avaliação e gestão, em que a primeira se torna uma ferramenta potente para a realização da segunda. Evidenciando esse argumento, Blasis (2013) lembra o papel do Ideb e das projeções de metas bianuais na mobilização da atenção dos gestores educacionais para os indicadores educacionais e as avaliações externas.

Em decorrência, observa-se a ampliação da proposição de modelos locais de avaliação a serviço do monitoramento das redes, permitindo-lhes antever os possíveis resultados alcançados no indicador e fazer intervenções focalizadas para melhorá-los. Para ilustrar esse movimento, pode-se dizer que em levantamento realizado durante o ano de 2016, dos 27 estados da federação brasileira, 21 possuíam suas próprias propostas de avaliação externa, como mostra a Tabela 1. Os dados ilustram a crescente adesão dos estados a essas avaliações, com base no entendimento de que propiciam a obtenção de informações para o gerenciamento administrativo e pedagógico das redes.

Tabela 1
Avaliações Externas de Redes de Ensino nos Estados Brasileiros

Tabela 1
Avaliações Externas de Redes de Ensino nos Estados Brasileiros. Cont.

Esta expansão não ocorre, contudo, apenas nos estados subnacionais, sendo possível notar que diversos municípios têm adotado estratégias sistemáticas de uso dos resultados das avaliações federais ou, ainda, proposto iniciativas próprias de avaliação externa em suas redes de ensino (Bauer; Sousa; Horta Neto; Valle; Pimenta., 2017). Tal fato parece exemplificar o reconhecimento, em diferentes esferas de governo, da importância de se subsidiar as ações de gestão em informações e dados coletados de forma sistemática e organizada.

Outros estudos procuraram compreender a influência concreta das avaliações em larga escala na gestão educacional. Destacam-se inicialmente dois deles, por ilustrarem as mudanças nas características das relações entre avaliação e gestão. Tratam-se dos estudos de Sousa e Oliveira (2007) e de Brooke e Cunha (2011).

Sousa e Oliveira (2007) coordenaram, durante o período de 2005 a 2007, uma pesquisa que analisou os sistemas de avaliação implantados em cinco unidades federadas (Bahia, Ceará, Minas Gerais, Paraná e São Paulo). Um dos aspectos investigados, para além do desenho da proposta avaliativa nesses estados, foi se e como os resultados produzidos por avaliações pautaram a formulação e implantação de políticas educacionais que interferiam na gestão das redes de ensino e das escolas. A pesquisa desvelou uma disparidade entre o discurso oficial e a realidade. Se os documentos oficiais tendiam a anunciar que as avaliações subsidiariam a tomada de decisões e a gestão das redes, influenciando o currículo, as práticas pedagógicas e melhor aplicação de recursos, a empiria apontou que tais influências eram tênues ou inexistentes, ainda que, nas entrevistas realizadas com gestores, fosse notada uma expectativa de que as avaliações se tornassem mais úteis à gestão.

Pesquisa posterior, realizada por Nigel Brooke e Maria Amália Cunha (2011), encontrou a relação entre avaliação externa e a gestão em outro patamar. Os autores afirmam a intensificação da aplicação dos resultados das avaliações externas no que denominam de uma nova geração de políticas de gestão. Para eles, os resultados das avaliações estariam sendo utilizados, tendencialmente, como instrumentos de gestão com diversos objetivos: avaliar e orientar a política educacional; propor políticas de incentivos salariais e de avaliação docente; informar as escolas sobre a aprendizagem dos alunos e definir as estratégias de formação continuada; informar ao público sobre os resultados obtidos; alocar recursos; certificar alunos e escolas.

Além das pesquisas supracitadas, diversos estudos foram produzidos no meio acadêmico a fim de contribuir para a compreensão dessas relações. Tais estudos constituem o corpus desse artigo¹, que busca fazer uma análise descritiva de trabalhos, selecionados a partir de uma base de dados construída com teses e dissertações, focalizando suas características gerais (área de concentração, focos de interesse, evolução temporal, instituições em que foram produzidos, orientadores, procedimentos metodológicos utilizados), tendências teórico-metodológicas e lacunas na discussão, a fim de compreender convergências nesta produção. As questões que nortearam a elaboração do presente texto são:

• Que características demarcam a produção científica brasileira em avaliação de sistemas educacionais entre os anos de 1988 e 2011?

  Quais são as temáticas discutidas ao longo do tempo? Quais são os temas que não aparecem como objeto de pesquisa?

  Quais as metodologias utilizadas nesses estudos?

  Que referenciais teóricos têm fundamentado tais análises ensejadas nos trabalhos?

  Finalmente, a partir dos estudos de doutorado, busca-se compreender as relações que se estabelecem entre avaliação em larga escala e gestão de redes de ensino e de escolas, com o intuito de apreender vicissitudes e controvérsias destacadas por seus autores.

Este trabalho é fruto do levantamento realizado no Banco de Teses e Dissertações da Capes de estudos produzidos no período de 1988 a 2011², na temática de avaliação de sistemas educacionais no Brasil, originando uma base de dados com 294 trabalhos³.

Para a produção deste artigo, optou-se por fazer um recorte nessa base de dados, selecionando-se apenas trabalhos que tratam da temática da gestão. Para se proceder a essa seleção, foram feitas buscas pelo descritor gestão nos campos título, resumo e palavras-chave. A seleção resultou em 44 trabalhos⁴, sendo 9 doutorados, 1 mestrado profissionalizante e 34 mestrados acadêmicos. Dos trabalhos de mestrado, foram lidos apenas os resumos, enquanto que, no caso dos doutorados, optou-se pela leitura integral, além dos resumos. Assim, a análise descritiva é realizada com base nos resumos e em uma leitura seletiva de partes dos trabalhos. Em um segundo momento, tecem-se comentários acerca de cada doutorado e dos achados destes no que se refere à relação entre avaliação e gestão.

Ainda que a produção seja majoritamente da área de educação ou do ensino de (30 trabalhos no total nessas duas áreas), nota-se que outras áreas têm se preocupado em discutir as relações entre avaliação externa e gestão ou administração escolar. No recorte analisado, encontram-se trabalhos provenientes de programas de Pós-Graduação das áreas de Economia (6 trabalhos), Administração (2 trabalhos), Psicologia (1 trabalho), Ciências Políticas (1 trabalho), Linguística (3 trabalhos) e Geografia (1 trabalho). A classificação é proveniente da informação registrada na Ficha do Trabalho junto à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).

As linhas de pesquisa que se destacam referem-se à avaliação educacional (teoria e metodologia), currículo, política e gestão educacional e didática ou metodologias específicas de ensino. Nota-se, ainda, a ampliação do interesse de linhas de pesquisa relacionadas a outras áreas (administração pública, gestão organizacional, avaliação de instituições públicas, desenvolvimento econômico, economia da educação, economia social, avaliação e instrumentação psicológica etc.).

Observa-se, por meio do Gráfico 1, que o interesse pelas relações entre avaliação externa e gestão aumentou consideravelmente nos últimos anos. Os primeiros trabalhos acadêmicos que procuraram associar os dois temas foram defendidos em 2003, ainda que se note que as discussões sobre as avaliações externas comecem a aparecer, em âmbito acadêmico, a partir de 1998 (ver Bauer, 2012; Bauer; Reis, 2013). A ampliação do interesse pela temática deu-se a partir de 2009, sendo que o número de trabalhos defendidos em 2010 e 2011 (26 trabalhos) supera a somatória de trabalhos finalizados nos anos anteriores (18 trabalhos).

Gráfico 1
Distribuição Temporal dos Trabalhos
Fonte: Elaboração da autora, a partir de Base de Dados da Pesquisa.

É possível notar, pela Tabela 2, que a produção acadêmica em tela é proveniente de 30 diferentes instituições. Em grande parte delas (n=21) produziu-se apenas um trabalho, sendo sua maior concentração na UnB (n=5). Algumas instituições, no entanto, parecem abarcar linhas de pesquisa em que trabalhos dentro dessa temática são mais recorrentes, a exemplo da Unisinos, da UFMG, da Unesp de Marília e da Universidade Federal do Ceará (UFC), cada uma com três trabalhos produzidos.

Tabela 2
Número de Estudos Produzidos por Instituição

Cabe destacar que a maioria dos trabalhos não explicita, em seus resumos, a metodologia de pesquisa utilizada, ausência que deveria receber mais atenção por parte dos autores e de seus orientadores dada a importância desse tipo de texto. Dentre os que possuem essa informação, pode-se notar o predomínio de abordagens qualitativas de pesquisa que, muitas vezes, calcam-se na análise de casos únicos, muitas vezes escolhidos pela conveniência de pesquisa do autor. Poucos trabalhos (4,5%) apresentam metodologia mista ou quantitativa (4,5%) como forma de olhar para a realidade analisada. A maioria dos autores (30%) declara ter utilizado técnicas de pesquisa qualitativa em sua pesquisa. A análise dos resumos, em relação aos aspectos metodológicos, permite perceber fragilidades na formação dos autores em relação a tais aspectos. Uma confusão entre abordagens, técnicas e perspectivas teóricas é observada quando são explicitados os métodos que informaram as pesquisas que originaram as análises.

A análise dos resumos dos 34 mestrados localizados permitiu também agrupá-los segundo alguns focos temáticos. Ainda que, aparentemente, bastante similares em relação às temáticas de interesse, percebem-se diferenças entre os trabalhos com relação ao nível de gestão para o qual as análises são direcionadas. Vieira (2007), ao analisar conceitos relativos à gestão da educação básica, sintetiza as diferenças entre dois níveis de gestão:

[...] a gestão educacional refere-se a um amplo espectro de iniciativas desenvolvidas pelas diferentes instâncias de governos, seja em termos de responsabilidades compartilhadas na oferta de ensino, ou de outras ações que desenvolvem em suas áreas específicas de atuação. A gestão escolar, por sua vez, como a própria expressão sugere, situa-se no plano da escola e diz respeito a tarefas que estão sob sua esfera de abrangência.

[...] Assim, é lícito afirmar que a gestão educacional situa-se na esfera macro, ao passo que a gestão escolar localiza-se na esfera micro. Ambas articulam-se mutualmente, dado que a primeira justifica-se a partir da segunda (Vieira, 2007, p. 63, grifos nossos).

Tomando-se como referência as colocações da autora, percebe-se que alguns trabalhos focalizam as relações entre avaliação externa e gestão educacional (nível da macro ou da mesopolítica), circunscrevendo a análise na gestão de nível central (secretarias estaduais e municipais de educação, diretorias ou coordenadorias de ensino). Outras pesquisas focalizam as análises no interior das escolas, buscando apreender como se dão essas relações a partir do olhar sobre o trabalho dos gestores escolares, diretores ou coordenadores pedagógicos, bem como os próprios professores na gestão cotidiana da sala de aula, buscando apreender características do perfil de gestão ou dos perfis profissionais que fazem diferença (Catunda, 2007; Rigo, 2010, Casseb, 2011; Costa 2011). Percebe-se, ainda, que alguns estudos se detêm sobre as influências das ações e programas que ocorrem no âmbito da gestão educacional sobre a gestão escolar, principalmente sobre aspectos pedagógicos como organização do currículo, das práticas pedagógicas dos docentes e das práticas avaliativas.

Diversos estudos têm como objeto a análise de fatores associados aos resultados de desempenho dos alunos obtidos em avaliações em larga escala a partir da consideração de diversas variáveis, constituindo um veio analítico específico (Souza, 2000; Ussan, 2000; Catunda, 2007; Mesquita, 2009; Chirineia, 2010; Wiebusch, 2011; Palermo, 2011; Costa, 2006). Cabe observar que, muitas vezes, nestes estudos, a gestão, e suas características, em nível macro, meso ou micro, são tomadas como variável para a compreensão do fenômeno do desempenho dos alunos. A distribuição dos mestrados e doutorados nesses quatro eixos é apresentada na Tabela 3.

Tabela 3
Distribuição dos Estudos segundo Foco na Gestão Educacional, na Gestão Escolar ou na Análise de fatores Associados ao Desempenho dos Alunos

Ressalta-se, contudo, que essa organização tem propósitos didáticos, visto que em trabalhos cujo foco de análise é a gestão escolar, por vezes investiga-se também a utilização das avaliações na gestão educacional nos demais nível de implantação da política. De todo modo, percebe-se que são poucos os trabalhos que procuram concatenar as perspectivas dos gestores do sistema com as dos gestores escolares e professores (n = 4), assumindo uma perspectiva de análise mais global.

Há estudos que discutem princípios e pressupostos de modelos de gestão pública, analisando mudanças nos paradigmas que estão na base das reformas educacionais atuais ou, ainda, da proposição de políticas e programas de avaliação que visam à melhoria da qualidade do ensino (Melo, 2005; Santos, 2010b; Andrade, 2011). Nesse agrupamento encontram-se trabalhos que se debruçam sobre novas formas de gerenciamento propostas no âmbito do paradigma da Nova Gestão Pública (Ceneviva, 2006; Formoso Júnior, 2009; Ferrari, 2010; Alcantara, 2010), e questionam a naturalização de pressupostos economicistas e mercadológicos na gestão educacional. Esse último aspecto é ilustrado pelo trabalho de Spinelli (2004), que compreende que a avaliação está a serviço de princípios economicistas e mercadológicos, o que pode contribuir, contraditoriamente, para o desenvolvimento de novos padrões de exclusão educacional.

Já a Ceneviva (2006) interessa investigar as relações entre a avaliação e a gestão democrática. O autor aponta que a potencialidade dos mecanismos de avaliação se constituírem como instrumento de controle democrático depende mais das estruturas e relações que se estabelecem no interior das instituições nas quais se insere a política ou programa avaliativo, do que das características dessas políticas, propriamente ditas.

Moreira (2004) mostra as contradições subjacentes ao modelo que focaliza na avaliação externa com uma lógica de regulação e controle, contrastando-o com a concepção de gestão democrática da escola enfatizada em documentos legais como a Constituição Federal.

Finalmente, alguns trabalhos examinam as próprias políticas de avaliação da educação que são propostas como estratégia de apoio à gestão e de melhoria da qualidade da educação. Nessa linha, cita-se o trabalho de Alcantara (2010). Outros trabalhos questionam o papel da avaliação na gestão, tais como os de Chirineia (2010), Escobar (2010), Ferrari (2010), Santos (2010a) e Wiebusch (2011).

Outro agrupamento evidente é dos trabalhos que tratam das implicações das avaliações em larga escala no âmbito da gestão do sistema ou da escola. Horta Neto (2006) analisa como a Secretaria de Educação do Distrito Federal utiliza as informações produzidas no âmbito do Sistema de Avaliação da Educação Básica (Saeb) para gerir a rede pública no nível do Ensino Fundamental. Dentre outras constatações, o autor destaca que o discurso sobre a importância dos resultados do Saeb para o gerenciamento do sistema está presente na fala dos dirigentes entrevistados, mas não se encontram evidências de prática de gestão calcadas nestes resultados, aspecto também ilustrado por Bauer (2006). Além disso, o autor percebeu a dificuldade dos dirigentes entrevistados em compreender adequadamente as informações produzidas pelo Saeb, o que certamente implica nas possibilidades de sua utilização. Pesquisas posteriores reforçam esse achado do autor como, por exemplo, o trabalho de Sousa e Oliveira (2007) e Bauer (2011).

Vergani (2010) analisou como os resultados do Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul serviam de apoio ao planejamento de ações pedagógicas visando à melhoria do desempenho dos alunos e da qualidade do ensino ofertada, partindo do pressuposto de que os resultados obtidos pela avaliação deveriam servir de diagnóstico para apoiar o desenvolvimento do trabalho. Conclui, como Horta Neto, que os resultados da avaliação não estavam sendo utilizados para a finalidade defendida em seu estudo. Outros trabalhos realizam esse tipo de análise, contemplando a gestão dos sistemas (Battisti, 2011; Oliveira, 2011) ou das escolas (Escobar, 2010; Garcia, 2010; Gewehr, 2010).

Já Santos (2010a) interessou-se pelas influências do SPAECE nas práticas do gestor escolar, destacando as que se relacionam positivamente com a melhoria do desempenho dos alunos.

Tabela 4
Fontes Consultadas (Mestrados e Doutorados)

Tabela 4
Fontes Consultadas (Mestrados e Doutorados). Cont.

Tabela 4
Fontes Consultadas (Mestrados e Doutorados). Cont.

Tabela 4
Fontes Consultadas (Mestrados e Doutorados). Cont.

Costa (2011) discute a apropriação dos resultados das avaliações pelos professores de uma escola do subúrbio do RJ. Santana (2011) também tem como preocupação central o professor, mas focaliza como os programas de formação continuada da rede municipal de ensino de Dourados têm se articulado aos resultados da Prova Brasil. Também com o foco na discussão da formação do professor, Casseb (2011) busca compreender como o diretor da escola realiza a formação em serviço visando melhor entendimento, pelos professores, dos resultados obtidos pela escola nas avaliações.

Há ainda os trabalhos que se debruçam sobre a análise do perfil do diretor ou de características de seus estilos de gestão, buscando compreender se há diferenças nos resultados correlacionadas a esses aspectos. Os trabalhos de Gomes (2004), Rigo (2010), Medeiros (2011) e Lima (2011a) são ilustrativos dessa temática.

Maria José Alves Costa (2009) parte do entendimento de que a inspeção escolar é, ao longo da história da educação brasileira, um instrumento de controle do ensino, analisando, no contexto alagoano, pós-LDB de 1996, quais são suas atuais funções, dimensões e práticas. Compreende que as avaliações externas introduzem novas formas de inspeção e gerenciamento das instituições.

Finalmente, Barreto (2009), Magalhães Sobrinho (2010) e Andrade (2011) se debruçam sobre diversas políticas de avaliação, analisando sua lógica no âmbito da gestão educacional, suas relações com outras políticas municipais e seus confrontos com a conceituação de gestão democrática, respectivamente.

A fim de se compreender os quadros conceituais que têm iluminado as análises das relações entre avaliação e gestão educacional, buscou-se sistematizar os aportes teóricos utilizados pelos autores dos trabalhos selecionados.

Diversos dos autores se reportam às mudanças no papel do Estado que se configuraram a partir dos anos 1980 e que têm, como forte característica, o enfraquecimento do Estado de Bem-estar Social e a tendência de se descentralizar a oferta de serviços sociais sem, no entanto, que o Estado perca o controle sobre tal oferta. Nessa conjuntura, apontam que a avaliação de redes de ensino passa a ser um ponto de destaque nas propostas de políticas públicas em vários países que se veem obrigados a racionalizar a aplicação dos recursos disponíveis, descentralizar o gerenciamento do sistema educacional e, ao mesmo tempo, controlá-lo. Assumem que é por meio da racionalização e do controle, que o gerenciamento deixa de ser realizado no âmbito de estruturas burocráticas e passa a ser orientado pelos resultados de indicadores de desempenho e do cumprimento de objetivos previamente determinados pelos centros decisores do governo.

Outro tipo de discussão que encontra solo fértil nos trabalhos analisados tende a referenciar a crítica ao que se denomina de Estado Neoliberal, à influência dos organismos multilaterais na proposição das propostas avaliativas, à ascensão do Estado Avaliador, que se desresponsabiliza do gerenciamento direto do sistema, focalizando na gestão por resultados, etc. Tais trabalhos, geralmente, baseiam-se na obra de Almerindo Janela Afonso como referência teórica. A Tabela 5 explicita quais foram as principais obras utilizadas nos 44 estudos em tela, apresentando, ainda, o número de vezes em que elas apareceram citadas.

Tabela 5
Principais Obras Utilizadas como Referências Teóricas nos Trabalhos Analisados

Observa-se, no entanto, em alguns dos trabalhos, certo descompasso entre o aporte teórico de base e o tipo de análise que o trabalho se propõe. Ora, entre trabalhos que se propõe a analisar as relações entre avaliação e gestão educacional, esperar-se-ia maior interlocução com as temáticas da gestão, da administração pública ou, ainda, do papel da avaliação na gestão das políticas educacionais. No entanto, nem todos os trabalhos dialogam, mais diretamente, com autores que discutem gestão educacional. Há trabalhos, inclusive, que referenciam principalmente autores de referência na temática da avaliação da aprendizagem, com pouca conexão ao seu objeto de estudo.

Entende-se que os trabalhos do início dos anos 1990 possam ter sofrido com a falta de aportes teóricos que discutissem avaliação em larga escala no Brasil e, portanto, apelassem para obras de referência na avaliação da aprendizagem, de produção mais profícua durante os anos 1980 e 1990, para suprir a carência de referenciais teóricos. No entanto, o início dos anos 2000 passa a contar com trabalhos, principalmente com teses e dissertações que tentam compreender o fenômeno de consolidação e expansão das avaliações em larga escala. A análise das referências utilizadas nos diversos trabalhos não permite afirmar que essa nova produção foi considerada pelos autores em tela, à exceção de algumas obras que se tornaram referência (como, por exemplo, Afonso, Bonamino e Luiz Carlos de Freitas).

Além disso, ao que parece, pela leitura detalhada dos referenciais teóricos reportados e realmente utilizados no corpo dos trabalhos (e não apenas citados nas referências), nem sempre a discussão teórica abrange a complexidade do fenômeno em análise. Um exemplo são os trabalhos que tendem a discutir a avaliação externa e em larga escala no marco da gestão democrática, da gestão burocrática ou da nova gestão pública (esses, mais escassos), sem contextualizá-las no âmbito das ações e do(s) papel(éis) que o Estado tem assumido hodiernamente, dando suporte para a compreensão da adoção desses modelos de gestão.

Cabe destacar ainda a pouca interlocução com autores internacionais, à exceção dos portugueses, principalmente de Afonso (2000), o que permite inferir que há uma barreira linguística que tem dificultado acesso a novos aportes teóricos. O que não se explica, no entanto, por barreira linguística, é a pouca utilização de outros autores que discutiram temáticas semelhantes, em nível de pós-graduação, nos trabalhos mais recentes, permitindo concluir que a revisão bibliográfica densa e acurada, recurso indispensável à boa produção acadêmica, tem sido relegada a um segundo plano. Mesmo nos trabalhos de doutorado, percebe-se o predomínio de referências a artigos e capítulos de livros, também com pouca apropriação da literatura estrangeira e da produção nacional dos programas de pós-graduação. Ao mesmo tempo em que se ampliou consideravelmente o acesso à produção científica, parece, considerando-se os textos que foram objeto dessa análise, que esse acesso não se traduz em uso pelos autores talvez, até, por conta dos prazos determinados para a produção dos trabalhos. Como decorrência, pode-se apontar certa sobreposição de objetos de estudo e de análises, que pouco contribuem para o avanço do conhecimento no campo.

A partir do recorte especificado foram localizados 9 trabalhos de doutorado que focalizam as relações entre avaliação externa e gestão educacional, elencados na Tabela 4. O primeiro trabalho identificado que trata das influências de uma avaliação externa na gestão é o de Squilasse (2005, p. 16). A autora pretendeu “[...] entender a complexa realidade escolar e os mecanismos de tomada de decisão no interior da escola”, determinando as relações existentes entre o centro (órgãos deliberativos e normativos do sistema de ensino) e a periferia (unidade escolar). Para isso, analisou duas escolas e suas ações e reações a alguns dispositivos de política, de âmbito federal e regional. Como referência de base nacional utilizou as diretrizes da LDB (Brasil, 1996) e, como base estadual, o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp), o Programa Recuperação de Férias e o Fórum A Escola dos Nossos Sonhos. Constitui um dos poucos trabalhos encontrados que busca “[...] investigar como as escolas, com diferentes estilos de gestão e culturas organizacionais percebem, interpretam e implantam as políticas públicas em educação emanadas dos órgãos superiores” (Squilasse, 2005, p. 20), descortinando as relações de poder e resistência que se estabelecem entre escolas e órgãos centrais. Os resultados encontrados pela autora indicam uma distância entre a concepção e a implantação das políticas públicas em educação. Ao comparar duas realidades escolares distintas, observa que o entendimento dado pela gestão escolar às emanações dos órgãos centrais, seja em relação às diretrizes da LDB, seja em relação à proposição do SARESP, são diferentes nas duas escolas. Conclui que se a gestão da escola é democrática, as políticas implantadas garantem a consolidação de espaços democráticos. Em oposição, uma gestão escolar baseada numa concepção mais centralizadora induz práticas antidemocráticas e pouco participativas no interior da escola.

Figueiredo (2008) discutiu o papel da avaliação de desempenho escolar denominada Sistema de Avaliação do Rendimento Escolar Municipal (SAREM), desenvolvida pela Secretaria Municipal de Educação de Cosmorama (SME) como forma de diagnóstico da realidade educacional deste município, buscando analisar se, a partir da avaliação, tem havido avanços em termos da aprendizagem dos alunos. Segundo a autora, os indicadores de desempenho dos alunos fornecidos pelo SAREM subsidiavam a elaboração de propostas de intervenção técnico-pedagógica por parte da secretaria municipal de educação, possibilitando a melhoria da gestão do sistema de educação e oferecendo contribuições para a reorganização dos componentes curriculares e dos processos pedagógicos nas escolas.

Zanardini (2008) analisou os pressupostos ontológicos presentes no processo de surgimento e consolidação da avaliação externa com um dos pilares da gestão da Educação Básica no Brasil, discutindo o papel das reformas educacionais na atualidade. Para o autor, as avaliações em larga escala investigadas (Saeb, Enem e Pisa) estavam a serviço de um referencial liberal-conservador que, dentre outros aspectos, valoriza a medição de resultados e não a compreensão dos problemas existentes no âmbito da escola e que incidem fortemente sobre os resultados por ela obtidos. A avaliação se prestaria, assim, à manutenção de uma estrutura social que se sustenta sobre a exploração do trabalho e a manutenção de um status quo social. Concluiu que havia contradições entre o modelo avaliativo vigente e o discurso propugnado nas políticas e programas em prol da qualidade do ensino.

Andrade (2008) se propôs a analisar a qualidade e equidade do sistema brasileiro de educação básica tomando como base os dados de desempenho dos alunos, aferidos pelo Sistema Nacional de Avaliação da Educação Básica (SAEB) nos ciclos de 1995, 1997, 1999, 2001 e 2003. Por meio da análise dos dados, o autor intentou pesquisar quais fatores impactam o desempenho dos alunos, considerando que este é reflexo de uma interrelação de fatores e escolhendo alguns deles para sua análise: o efeito da escola sobre o aluno, a dependência administrativa da escola e a raça/cor dos alunos. Por meio do ajuste de modelos hierárquicos de regressão, o autor obtém resultados que indicam que algumas escolas têm efeito diferenciado e, portanto, devem possuir uma prática de gestão pedagógica de seus recursos que poderia ser compartilhada com outras escolas, auxiliando na melhoria da educação básica no Brasil. Cabe destacar que, ainda que tenha sido selecionado pelos critérios determinados pelo recorte da pesquisa, o trabalho de Andrade não faz, diretamente, uma discussão sobre gestão educacional. A partir de suas considerações acerca da qualidade e equidade racial na escola brasileiro, o autor aponta caminhos que deveriam ser foco de preocupação dos propositores de políticas educacionais e gestores, mas não adentra as discussões propostas.

Möllman (2010) busca compreender as relações entre avaliação em larga escala e gestão da Educação Básica, desde uma perspectiva das escolas privadas do Rio Grande do Sul, analisando como elas fazem uso dos resultados de avaliação externa e como estes usos afetam a gestão. O estudo abrangeu um total de 77 das 482 escolas privadas que oferecem o nível fundamental de ensino. Traçando um quadro teórico que diferencia gestão e administração, utiliza aportes que possibilitam compreender o papel da avaliação externa na gestão educacional nos dias atuais. Seu trabalho contempla uma ampla pesquisa bibliográfica, com o intuito de mapear e discutir a produção de conhecimento referente aos temas avaliação da educação básica, gestão da escola privada e avaliação em larga escala. O autor conclui que a maioria das escolas privadas estudadas reconhece a importância das avaliações externas como um instrumento auxiliar à gestão, quer no âmbito do planejamento, quer no de diagnóstico da realidade.

Augusto (2010) se debruçou sobre os efeitos das mudanças no trabalho da inspeção escolar em vigência no estado de Minas Gerais, em um contexto de modernização dos serviços públicos, influenciado por um enfoque gerencial que objetiva a racionalização dos serviços públicos e sua regulação. A autora intentou apreender se a introdução de novos mecanismos de regulação interferia - ou não - no trabalho escolar, tomando como base a organização da inspeção escolar no estado mineiro. Partiu da hipótese de que as medidas políticas em curso, no âmbito do Programa Choque de Gestão, estariam incongruentes com a própria função da inspeção. Para embasar suas análises, ela retomou a natureza e a carreira da inspeção escolar, analisou a política denominada Choque de Gestão e debruçou-se sobre o conceito de regulação, traçando sua trajetória desde suas origens até os dias atuais. Concluiu que em Minas Gerais havia a coexistência de dois modelos de administração, o burocrático, no qual se insere a inspeção, e o gerencial, focado nos resultados, no qual se insere os programas Acordo de Resultados e Choque de Gestão, inaugurando uma ambiguidade, uma contradição na forma de condução das políticas. Assim, entende-se, a partir de Augusto, que a regulação das políticas educacionais da SEEMG é representada por um modelo linear e vertical, com base nas medidas interventoras propostas no âmbito do Choque de Gestão e à inspeção é relegado o papel de regular a própria política reguladora, ou seja, o Acordo de Resultados, num misto dos dois modelos de regulação.

Souza (2010) procurou evidências da presença de mecanismos de quase-mercado nas políticas educacionais brasileiras, tendo como foco de análise o Plano Nacional de Educação, o Plano de Desenvolvimento da Educação, o Sistema de Avaliação da Educação Básica (Saeb), o Índice de Desenvolvimento da Educação Básica (Ideb), o Exame Nacional do Ensino Médio (Enem) e os artigos da Constituição Federal que tratam de educação, bem como da Lei de Diretrizes e Bases da Educação Nacional. A autora é uma das únicas entre os trabalhos selecionados a contextualizar a reforma educacional brasileira no contexto da reforma de Estado, situando a emergência do conceito de quase-mercado em educação. Apoiada em diversos autores, discute a substituição do termo administração escolar pelo de gestão educacional, defendendo que este último introduz na gestão educacional formas de pensar e gerir próprias da gestão empresarial. Aponta, ainda, que a CF 88 não teria assumido os novos princípios da nova gestão pública, como eficiência, efetividade e o mercado, mas sim enfatizado o princípio da gestão democrática da educação que, ainda que não explicitado em seu significado e nas formas de consolidação, vai embasar, também, a proposta de Lei de Diretrizes e Bases de 1996. Assim, os princípios mais condizentes com a gestão empresarial teriam sido implantados pelas Reformas de Estado, o que levou a incongruências entre o desejável, expresso na letra da lei, e o realizado a partir da consolidação de políticas educacionais que influenciam a gestão do sistema educacional. A autora aponta, ainda, que a ênfase no discurso da gestão democrática, inclusive, teria feito parte de uma estratégia de desresponsabilização do Estado, coerente com os parâmetros de gestão pública tecnocrática ou da nova gestão pública.

Além de Souza, outros trabalhos apontam incongruências entre a concepção de gestão presente no marco legal federal e a concepção de gestão educacional veiculada por meio das políticas educacionais contemporâneas e das avaliações externas de sistemas de ensino. É o caso dos trabalhos de Araújo (2011) e Lima (2011c).

O primeiro, ao analisar dois programas educacionais da Secretaria de Estado de Educação do Distrito Federal, implantados durante os anos de 2007 e 2010, a Lei de Gestão Compartilhada das Escolas e o Sistema de Avaliação do Desempenho das Instituições Educacionais do Sistema de Ensino do DF - SIADE, percebeu que a Lei de Gestão Compartilhada e o SIADE interferiram na organização do trabalho escolar, induzindo a um determinado padrão de qualidade trabalhado pelas escolas. Tal padrão seria notadamente influenciado por uma lógica de gestão que valoriza a eficiência, o cumprimento de metas, a curto prazo, inaugurando uma fase de gestão de resultados na gestão educacional local, indo ao encontro das características dominantes nos processos de gestão e avaliação elencados por Souza (2010). Assim, Araújo (2011) desenvolve seu trabalho apontando contradições entre o que foi planejado pela Secretaria de Educação - em relação aos dois projetos - e o que de fato foi feito em duas escolas públicas da região, que constituíram seu estudo de campo, ilustrando a discussão proposta por Souza (2010) em seu trabalho.

Já Lima (2011a) tentou entender a ação e influência do diretor escolar sobre as práticas de avaliação da aprendizagem, institucional e de larga escala. Para isso, o autor analisou a participação do diretor em atividades e momentos de interação com professores, coordenadores pedagógicos, os estudantes e os pais, em momentos de discussão sobre a temática da avaliação. Na construção da argumentação discutiu o entendimento do diretor sobre as práticas avaliativas que ocorreram na escola e seus reflexos nestas práticas. Com um olhar específico sobre as influências do Sistema de Avaliação do Desempenho das Instituições Educacionais do Sistema de Ensino do Distrito Federal (SIADE) sobre o trabalho do diretor, o autor conclui que a articulação, no âmbito da escola, das três dimensões da avaliação analisadas não depende apenas de seus gestores, visto que principalmente as avaliações em larga escala envolvem outros atores e interesses que interferem nas possibilidades de um trabalho mais articulado em seu interior. No que se refere à avaliação institucional, o estudo apontou que ainda não era prática conhecida na escola, que não estava preparada para realizá-la de acordo com as propostas vigentes.

Em síntese, os vários trabalhos contribuem, a partir de diversos focos e objetos de análise, para o entendimento das concepções de gestão que informam tanto a gestão educacional, quanto a escola. Seja por meio da discussão da institucionalização de uma concepção de gestão educacional eivada de princípios da Nova Gestão Pública, pela sua contraposição à concepção de gestão democrática ou por meio do uso de conceitos como quase mercado, desresponsabilização estatal e regulação, os trabalhos de doutorado parecem avançar no sentido de incorporar suportes teóricos que permitem avançar na compreensão dos modelos de gestão calcados na avaliação externa.

Cabe destacar, no entanto, que alguns trabalhos contemplam análises muito parciais ou que expressam as relações entre a avaliação externa e a gestão escolar em uma via de mão única, desconsiderando a infidelidade normativa das escolas, que levaria a perceber, como aponta Licínio Lima (2011b, p. 114) que “[...] mesmo numa administração centralizada, a força da imposição normativa nem sempre é obedecida, ou traduzida em poder e em ações orientadas em conformidade, seja nos terrenos próprios da administração central, seja nos universos escolares periféricos”. Talvez por conta da influência dos suportes teóricos utilizados, os trabalhos em tela, muitas vezes, não apresentam uma contribuição substantiva para elucidar as complexas relações que se tecem entre a avaliação e a gestão, educacional ou escolar, a partir da expansão das avaliações em larga escala.

Essa rápida descrição das temáticas que foram objeto de estudo nos trabalhos selecionados permite perceber que já há um acúmulo de produção em temas que têm sido bastante controversos nas discussões acerca das avaliações de sistemas educacionais. Ainda que a maioria dos estudos seja de natureza qualitativa, focados em casos isolados, em seu conjunto apontam tendências no caminho que as políticas de avaliação interna têm assumido em várias instâncias, as controvérsias em relação a essas políticas, como elas têm influenciado o trabalho realizado nas escolas e no próprio sistema de ensino.

A produção silencia, no entanto, sobre algumas questões que precisariam ser mais investigadas, decorridos mais de vinte anos da implantação do Saeb e em um contexto de expansão dos sistemas de avaliação nos estados e municípios brasileiros. Estudos mais focados nos currículos praticados nas escolas e nos sistemas, a partir da intensificação das avaliações, bem como na utilização dos resultados como base para o estabelecimento de outras políticas voltadas à gestão do sistema (bonificação e contratação de professores e gestores, distribuição de recursos às escolas, publicização dos resultados alcançados, elaboração de índices próprios, dentre outros) trariam informações oportunas para compor um painel que possibilitasse ter notícias sobre como estas questões estão se concretizando no território nacional. Há contradições na literatura investigada sobre a influência das avaliações na determinação do currículo escolar, por exemplo. Enquanto alguns trabalhos afirmam um reducionismo curricular em relação ao que é focalizado pelas matrizes das provas, outros apontam que as avaliações não têm incidido sobre o currículo escolar. Tais aspectos merecem maior investigação, principalmente de base empírica, que dialogue com as contradições apontadas pelos diversos estudos existentes.

Finalmente, à guisa de conclusão, cabem algumas considerações que preocupam o pesquisador interessado. Após o contato com os trabalhos analisados no escopo desse artigo, tem-se a impressão de que, com raras exceções, a produção teórica realizada na temática, em programas de pós-graduação, não tem propiciado avanços significativos na compreensão das relações complexas que se estabelecem entre a avaliação e a gestão educacional.

Ao que parece a temática se beneficiaria se os interessados em expandir o conhecimento acerca dessas relações procurassem dialogar mais sistematicamente com os trabalhos já produzidos sobre o tema, parcialmente citados nesse artigo, identificando aspectos que requerem investigações mais aprofundadas, após o mapeamento contínuo da produção. Um olhar mais acurado sobre essa produção existente, por meio de densas revisões bibliográficas, permitiria que o próprio campo se retroalimentasse e que novas abordagens fossem encontradas para o exame de problemas comuns, que, parece, têm sido estudados isoladamente, por pesquisadores que conhecem ainda pouco acerca da produção na temática. Ampliar o escopo dos trabalhos, teórica e metodologicamente, parece necessário para que a expansão do interesse na temática resulte na produção de novos conhecimentos e não apenas em dispersão.