Secciones
Referencias
Resumen
Servicios
Buscar
Fuente


Políticas de avaliação no Ensino Fundamental do município de Cuiabá/MT
Assessment policies in Elementary School in the municipality of Cuiabá in the state of Mato Grosso
Políticas de evaluación en la Enseñanza Primaria en el municipio de Cuiabá/MT
Ensaio: Avaliação e Políticas Públicas em Educação, vol. 33, núm. 127, e0254639, 2025
Fundação CESGRANRIO

ARTIGO


Recepción: 18 Diciembre 2023

Aprobación: 10 Febrero 2025

DOI: https://doi.org/10.1590/S0104-40362025003304639

Resumo: Neste texto, direcionamo-nos para os processos avaliativos nos anos iniciais do Ensino Fundamental. Objetivamos evidenciar a concepção de avaliação presente nos documentos que embasam o ensino público municipal de Cuiabá, mais precisamente nos anos iniciais do Ensino Fundamental. Baseamo-nos na análise de fontes documentais constituídas por: Política Educacional Escola Sarã, Política Educacional Escola Cuiabana, Plano Municipal de Educação, decretos e orientativos. Inicialmente, na Política Educacional Escola Sarã, a avaliação era centrada na classificação, mas, visando romper com o caráter classificatório e excludente, propõe-se, na Política Educacional Escola Cuiabana, um processo avaliativo qualitativo e reflexivo. Entretanto, atualmente notamos contradição entre a proposta e o que vem sendo realizado nas escolas, uma vez que se evidencia a redução de todo um processo a um único instrumento avaliativo ao final de cada bimestre ou, no caso da Prova Cuiabá, de cada semestre, mensurando o desempenho dos alunos por meio de uma única dimensão, bem como regulando o trabalho docente frente a mecanismos de controle.

Palavras chave: Processos Avaliativos, Ensino Fundamental, Prova Cuiabá, Políticas de Avaliação.

Abstract: In this text, we focus on assessment processes in the initial years of Elementary School. We aim to highlight the conception of assessment present in the documents that support municipal public education in Cuiabá, more precisely in the initial years of Elementary School. We are based on the analysis of documentary sources constituted by: Policies Escola Sarã, Policies Cuiabana School, Municipal Education Plan, decrees and guidelines. The earliest documents point to an assessment centered on classification, but in the course of their updates they begin to propose a qualitative and reflective assessment process, aiming to break with the classificatory and exclusionary character. However, in current documents we note a contradiction to what has been exposed when the reduction of an entire process to a single assessment instrument at the end of each two-month period or, in the case of the Cuiabá Test, semester, is evident, measuring student performance through a single dimension, as well as regulating teaching work through control mechanisms.

Keywords: Assessment Processes, Elementary School, Cuiabá Test, Assessment Policies.

Resumen: Este texto se centra en los procesos de evaluación en los primeros años de la enseñanza primaria. Nuestro objetivo es destacar el concepto de evaluación presente en los documentos que fundamentan la educación pública en el municipio de Cuiabá, específicamente en los primeros años de la enseñanza primaria. Analizamos fuentes documentales compuestas por: Política Educacional Escuela Sarã, Política Educacional Escuela Cuiabana, Plan Municipal de Educación, decretos y directrices. Los documentos más antiguos apuntan a una evaluación centrada en la clasificación, pero en el transcurso de sus actualizaciones comienzan a proponer un proceso de evaluación cualitativo y reflexivo, con el objetivo de romper con el carácter clasificatorio y excluyente. Sin embargo, en los documentos actuales se advierte una contradicción con lo expuesto al ver la reducción de todo un proceso a un solo instrumento de evaluación al final de cada bimestre o, en el caso de la Prueba Cuiabá, semestre, midiendo el desempeño de los estudiantes a través de una sola dimensión, además de regular la labor docente frente a los mecanismos de control.

Palabras clave: Procesos de Evaluación, Educación Primaria, Prueba Cuiabá, Políticas de Evaluación.

1 Introdução

Neste texto, sentimo-nos instigados a refletir sobre o processo avaliativo, o qual entendemos que não é um fim, mas parte integrante do processo de ensino-aprendizagem, ou seja, um processo na perspectiva de ampliação e colaboração entre os sujeitos envolvidos, estes, ativos e críticos, que codificam e decodificam as informações, atribuindo ou não significados a suas vidas. Isto posto, partimos da seguinte problemática: Qual a concepção de avaliação educacional presente nos documentos que guiam as escolas municipais de Cuiabá? Deste modo, objetivamos evidenciar a concepção de avaliação proposta para os anos iniciais do Ensino Fundamental no ensino público municipal de Cuiabá1, capital do estado de Mato Grosso.

Baseamo-nos na análise de fontes documentais, isto é, “[...] aquela realizada a partir de documentos, contemporâneos ou retrospectivos, considerados cientificamente autênticos (não-fraudados) [...]” (Pádua, 2004, p. 68). Estas se constituíram a partir dos seguintes documentos: Política Educacional Escola Sarã; Política Educacional Escola Cuiabana; contratos firmados com empresas privadas; orientativos pedagógicos destinados às unidades escolares; portarias; leis, Plano Municipal de Educação, Diretrizes Curriculares Nacionais (DCN) e Base Nacional Comum Curricular (BNCC).

A análise documental, ancorada em Gil (2008), constituiu-se em três momentos: a pré-análise, ou seja, o primeiro contato com as fontes documentais a partir de uma leitura flutuante seguida da escolha dos documentos; a exploração das fontes documentais por meio da escolha das unidades, em outras palavras, determinamos e classificamos os recortes de acordo com nosso objetivo; e tratamento, inferência e interpretação dos dados à luz de diferentes teóricos.

Embora existam inúmeras pesquisas sobre avaliação no âmbito educacional, identificamos a necessidade de nos aproximarmos de estudos que abordem especificamente a avaliação no contexto do município de Cuiabá. Para isso, optamos por uma pesquisa de cunho bibliográfico, cujo objetivo, segundo Silva (2001, p. 20), é “levantar o conhecimento disponível na área, identificando as teorias produzidas, analisando-as e avaliando sua contribuição para compreender ou explicar o problema objeto da investigação.”

Buscamos, portanto, no Portal Brasileiro de Publicações e Dados Científicos em Acesso Aberto (OASISBR), Revista de Educação Pública (REP) e Portal de Periódicos – Capes, por meio dos descritores Escola Sarã, Escola Cuiabana, Prova Cuiabá, Avaliação Institucional e Projeto Avaliar, os trabalhos publicados nos últimos dez anos2, cujos descritores estivessem presentes nos títulos. Destacamos a presença de três estudos: uma tese de doutorado (2022) que trata do currículo, uma dissertação de mestrado (2018) e um artigo (2018) que têm como objeto de estudo a Avaliação Institucional. Isto posto, podemos perceber, portanto, que os poucos textos localizados não têm como objeto de estudo os processos avaliativos, fato este que justifica a necessidade de pesquisas nessa área, especialmente em nível local.

A partir desta introdução, o texto se organiza em cinco seções. Inicialmente, abordaremos, embasados na Lei de Diretrizes e Bases da Educação Nacional (LDBEN) (1961; 1996), na Reforma do Ensino de 1º e 2º Graus (1971), nas Diretrizes Curriculares Nacionais (DCN) (2010) e na Base Nacional Comum Curricular (BNCC) (2018), os processos avaliativos previstos para o Ensino Fundamental para, na sequência, tratar da concepção de avaliação proposta para o ensino público municipal de Cuiabá, o qual nos propusemos a compreender. Não menos importante, analisaremos também a Prova Cuiabá, instrumento avaliativo externo, proposto pela/na rede municipal de educação do mencionado município. Posteriormente, trazemos as considerações finais, seguidas das referências.

2 Avaliação no Ensino Fundamental: o cenário da legislação federal

Tratamos, nesta seção, como a avaliação foi sendo pensada para o Ensino Fundamental nas legislações federais. Para tal, traçamos uma linha do tempo com as duas versões da Lei de Diretrizes e Bases da Educação Nacional: Lei n. 4.024/1961 e a atual, Lei n. 9.394/1996. Não menos importante, analisamos, também, a Reforma do Ensino de 1º e 2º Graus, mais precisamente a Lei n. 5.962/1971 e, acompanhando as políticas educacionais, as Diretrizes Curriculares Nacionais para o Ensino Fundamental de nove anos e a Base Nacional Comum Curricular.

Mediante a LDBEN de 1961, as diretrizes e bases da educação nacional foram fixadas em território brasileiro pela primeira vez. Quanto às práticas avaliativas, a mencionada legislação trata, no artigo 39º, inciso 1º, da avaliação do aproveitamento do aluno durante o ano letivo por meio de exames e provas, assegurando ao professor liberdade, tanto na elaboração das questões quanto no que denominaram de julgamento.

Em 1971, com a Reforma do Ensino de 1º e 2º graus, o artigo 14º, inciso 1º e 2º, aponta, também, a avaliação do aproveitamento do aluno, mas nesse caso acrescentou-se que deveria ser representada por meio de notas ou menções, prevalecendo os aspectos qualitativos sobre os quantitativos, e que o aluno com aproveitamento insatisfatório poderia ser aprovado após um período de recuperação oferecido pelo estabelecimento de ensino.

Já na segunda Lei de Diretrizes e Bases da Educação Nacional, de 1996, e que está em vigência até o presente momento com todas as suas alterações, no Título V e capítulo que trata da Educação Básica, mais especificamente no Artigo 24, que versa sobre a organização do Ensino Fundamental e Médio, delibera-se que a verificação do rendimento escolar deverá observar, dentre outras coisas:

a) avaliação contínua e cumulativa do desempenho do aluno, com prevalência dos aspectos qualitativos sobre os quantitativos e dos resultados ao longo do período sobre os de eventuais provas finais;

e) obrigatoriedade de estudos de recuperação, de preferência paralelos ao período letivo, para os casos de baixo rendimento escolar, a serem disciplinados pelas instituições de ensino em seus regimentos (Brasil, 1996, s/p);

Tratando da recuperação da aprendizagem, no Título IV, ao tratar da organização da educação nacional, no Artigo 12 e 13, é atribuído aos estabelecimentos de ensino e aos professores, respectivamente, prover meios e estabelecer estratégias de recuperação dos alunos com menos rendimento.

Compreendendo que os documentos que guiam o ensino público municipal de Cuiabá foram sendo constituídos no contexto das atualizações das políticas públicas, faz-se necessário acompanharmos, também, como a avaliação foi sendo considerada nesse processo. Com as Diretrizes Curriculares Nacionais para o Ensino Fundamental de nove anos, fixadas pela Resolução CNE/CEB n. 7/2010, por exemplo, a avaliação passa a ser considerada como parte integrante do currículo e redimensionadora da ação pedagógica, assumindo um caráter processual, formativo, participativo, contínuo, cumulativo e diagnóstico.

O mencionado documento ratifica o que a LDBEN (1996) determina quanto à prevalência dos aspectos qualitativos sobre os quantitativos, bem como a obrigatoriedade de períodos de recuperação ao longo do ano letivo. Desperta-nos atenção o Artigo 33, parágrafo 2º, ao tratar da articulação das avaliações adotadas pelos professores com as realizadas em nível nacional, isto é, embora haja uma conexão, a avaliação externa é apenas uma parcela do que é trabalhado na escola e “[...] as referências para o currículo devem continuar sendo as contidas nas propostas político-pedagógicas das escolas [...] sem reduzir os seus propósitos ao que é avaliado pelos testes em larga escala” (Brasil, 2010, p. 10).

Já com a Base Nacional Comum Curricular, instituída por meio da Resolução CNE/CP n. 2/2017, ao tratar do currículo, tanto a construção quanto a aplicação dos procedimentos avaliativos devem levar em consideração “[...] os contextos e as condições de aprendizagem, tomando tais registros como referência para melhorar o desempenho da escola, dos professores e dos alunos” (Brasil, 2018, p. 17).

Deste modo, percebemos que, ao longo dos anos, as legislações foram incluindo em suas redações elementos que consideraram pertinentes naquele contexto. Tanto a LDBEN (1961) quanto a Reforma do Ensino (1971), em um intervalo de dez anos, foram pensadas de acordo com o momento histórico que se vivenciava, apresentando de maneira muito próxima a avaliação de aproveitamento. Em 1996, a nova LDBEN passa a fazer referência a uma avaliação contínua e processual, mediante acompanhamento e registro dos diferentes instrumentos com predominância dos resultados qualitativos. Tal concepção de avaliação com foco no caráter formativo tem sequência nas Diretrizes Curriculares Nacionais (2010) e na Base Nacional Comum Curricular (2018), de modo que os resultados direcionem a prática pedagógica e o processo de desenvolvimento dos alunos.

Diante deste panorama, na sequência, apresentaremos a concepção de avaliação presente nos documentos nos quais o ensino público municipal de Cuiabá está amparado e que propõem diretrizes organizacionais, tanto pedagógicas quanto administrativas.

3 Avaliação na rede pública municipal de Cuiabá: da compreensão à orientação

Abordamos, nesta seção, como a avaliação vem sendo discutida nos documentos que guiam o processo avaliativo na rede municipal de Cuiabá, com foco nos anos iniciais do Ensino Fundamental. Respeitando a ordem cronológica dos documentos, tratamos primeiramente da Escola Sarã (2000), que resulta da sistematização dos ciclos3 de formação, a discute acerca da concepção de avaliação por objetivos, definida como “[...] processo destinado a verificar o grau em que mudanças comportamentais estão ocorrendo. Isto é, a avaliação deve julgar o comportamento dos alunos, pois o que se pretende, em educação, é justamente modificar tais comportamentos” (Tyler, 1994, p. 6 apudCuiabá, 2000, p. 133). Entretanto, evidenciam que esse processo passa a ser repensado por não conseguir responder às exigências do processo educacional local. Com isso, iniciam-se reflexões que levaram os professores à tomada de consciência sobre a avaliação meramente quantitativa e classificatória em prol de uma avaliação mediadora, colocando o aluno como sujeito do seu desenvolvimento e proporcionando a reflexão sobre as situações vivenciadas (Cuiabá, 2000).

Deste modo, na escola ciclada, organização das escolas municipais de Cuiabá, propõe-se que os resultados das práticas avaliativas sejam dispostos em formato de relatórios descritivos e individuais, com anotações frequentes e significativas sobre os progressos e dificuldades apresentados pelos alunos, oportunizando momentos de reflexão e, caso necessário, ações. Portanto, por ter função prognóstica, “[...] leva em consideração todo o processo educativo, as produções dos educandos, as investigações dos educandos, o diálogo que se estabelece entre estes, pais e funcionários” (Cuiabá, 2000, p. 136-137).

Já na Política Educacional Escola Cuiabana (2020), sobre as práticas avaliativas, podemos encontrar concepções dispostas em seis capítulos, os quais tratam da proposta pedagógica da Escola Cuiabana, da Educação Infantil, do Ensino Fundamental, da Educação Especial, da Educação do Campo e da Educação de Jovens e Adultos (EJA). Independentemente da etapa e modalidade do ensino, propõe-se que as avaliações “[...] devem ser constantes e, embora a ênfase seja a avaliação diagnóstica e formativa, a avaliação somativa poderá estar presente” (Cuiabá, 2020b, p. 101). Os documentos recomendam, ainda, que os professores utilizem diferentes instrumentos e que rotineiramente registrem tanto o resultado das avaliações quanto o desenvolvimento dos alunos, a fim de analisá-los e poder intervir pedagogicamente, caso necessário.

Para Hoffmann (1993), os registros do desenvolvimento dos alunos devem ser realizados durante o processo, uma vez que a representação final, nota ou, no caso de Cuiabá, conceito, será apenas um apanhado do que foi vivenciado. Desta maneira, se o professor fizer apenas o registro dos conceitos, ao final do bimestre, por exemplo, “[...] ele não saberá descrever, após um tempo, quais foram as dificuldades que cada aluno apresentou e o que ele fez para auxiliá-lo a compreender aquele aspecto” (Hoffman, 1993, p. 118).

É relevante mencionar que a Política Educacional Escola Cuiabana (2020b) apresenta três funções da avaliação: diagnóstica, formativa e somativa. Com a primeira, a proposta é mapear as aprendizagens já construídas e/ou em construção; a segunda, de caráter contínuo, sistemático e flexível, oportuniza ao professor buscar metodologias mais adequadas às necessidades dos alunos, e a terceira, com foco nos resultados, é utilizada nos finais de ciclo. Salientam também a importância dos registros e relatórios descritivos, identificando as aprendizagens e necessidades de cada aluno, servindo de parâmetro para a organização do trabalho pedagógico.

Luckesi (2018, p. 173, grifo do autor) ressalta que as denominações descritas acima “[...] não constituem formas distintas e diferenciadas do ato de avaliar. Simplesmente indicam momentos diferentes de uma ação sobre os quais incidem os atos avaliativos.” O autor salienta ainda que o gestor, na figura do professor, por exemplo, é quem analisará e qualificará os resultados do ato avaliativo, dado “[...] que o ato de avaliar se encerra em si mesmo” (Luckesi, 2018, p. 188). O autor defende, portanto:

[...] que não existe uma avaliação “de” contexto, “de” entrada, “de” processo, “de” produto, como não existe uma avaliação diagnóstica, formativa, somativa, processual, contínua, emancipatória, dialética, dialógica, mediadora, mas sim gestões de ações formativas, emancipatórias, dialéticas, dialógicas, mediadoras...Assim, tomamos consciência de que quem realiza ações e produz resultados é o gestor da ação, não a avaliação ou o avaliador, como parece ser expresso pelas variadas denominações atribuídas à avaliação, em especial, no meio educacional (Luckesi, 2018, p. 188, grifos do autor).

No Ensino Fundamental, foco do nosso estudo, a avaliação denominada como mediadora, embasada nas teorias construtivistas e sociointeracionistas, ganha destaque com as reflexões da autora Jussara Hoffmann (1996; 2000), que trata o ato de avaliar como um processo intrínseco ao ser humano e que, na educação, deve ser constante, reflexivo e sistemático pressupondo “[...] uma interação entre professor e estudante, na perspectiva da ressignificação de saberes possibilitada pelo estabelecimento de vínculo” (Cuiabá, 2020b, p. 171). Ainda nessa etapa, trazem a avaliação de sistema para orientar as políticas públicas com foco na qualidade do processo de ensino-aprendizagem, melhorar as estratégias de acompanhamento e monitoramento das escolas, propor formações continuadas aos profissionais da educação, entre outros.

Diante do exposto, consideramos importante tratar de um documento orientativo4, pautado na proposta pedagógica da Política Educacional Escola Cuiabana, para o ano letivo de 2023. Este documento propõe um calendário para a realização de provas bimestrais e recuperação da aprendizagem denominado, também, de processo de intervenção, as quais devem acontecer nas penúltimas e últimas semanas do bimestre, respectivamente (Quadro 1).

Quadro 1
– Cronograma de provas bimestrais e recuperação da aprendizagem

O mencionado orientativo apresenta, a partir do segundo bimestre do ano letivo de 2023, um banco de questões com foco nos componentes Língua Portuguesa e Matemática. É importante evidenciar que, no primeiro bimestre do mencionado ano, os professores elaboravam suas provas, as quais deveriam ser enviadas para a assessora pedagógica para avaliação e validação. Já no segundo e terceiro bimestres, a secretaria de educação passa a elaborar e organizar o banco de questões para que os professores apenas escolhessem as questões que comporiam seu instrumento avaliativo. No quarto bimestre, este cenário muda, a secretaria, agora na figura de organizadora, solicita que cada escola, na figura dos professores, elabore questões acerca de determinados descritores5.

Esteban (2012, p. 586) defende que “O grau de regulação indica desconfiança sobre a capacidade docente de formulação e de compreensão de sua prática cotidiana”, ou seja, a redução da autonomia do professor frente a mecanismos de controle, neste caso, com a determinação de um período destinado às provas e à recuperação, bem como a elaboração e/ou organização do banco de questões, pode ser um motivador para “[...] um discurso de desqualificação docente que ganha força em nossa sociedade e também pelas várias propostas locais de estímulo ao aumento do desempenho, que muitas vezes chegam a interferir no valor do salário recebido” (Esteban, 2012, p. 587).

Considerando os estudos de Hoffmann (1993) e Luckesi (2011), entendemos importante que os profissionais da educação tenham clareza de que a avaliação pontual, denominada somativa, não pode ser considerada como prova final do bimestre, bem como ser realizada nos últimos dias de aula. Ela deve possibilitar a observação daquilo que talvez não tenha sido observado ao longo do processo de ensino-aprendizagem, de forma que o professor tenha tempo hábil de reorientar o aluno no seu processo de aprendizagem. Isto é, a realização de provas ao final dos bimestres impossibilita o acompanhamento e diálogo entre professor e aluno, fato este que acaba desfavorecendo novas descobertas, mensurando, portanto, o desempenho dos alunos por meio de uma única dimensão.

A execução do cronograma de provas e recuperação da aprendizagem, bem como do banco de questões, são ações que, segundo Cuiabá (2023b, s/p), tem como objetivo “Desenvolver um processo de avaliação em rede, a partir de instrumentos de qualidade que possam oferecer, ao professor, resultados reais de aprendizagem.” Para dialogar com o exposto, visitamos Hoffmann (1993) que evidencia a necessidade de valorizarmos cada atividade realizada pelo aluno em seu processo de construção do conhecimento, transcendendo a busca de acertos e erros em relação às respostas dos alunos. A autora evidencia, ainda, que:

Provas marcadas, recuperação ou substituições de notas (em décimos e centésimos) conferem ao trabalho do aluno um significado de obrigação, que ele cumpre penosamente. Nessas ocasiões não se avalia os educandos em suas crenças verdadeiramente espontâneas, mas os induzimos à memorização, à reprodução da fala do professor, do texto do livro (Hoffmann, 1993, p. 83).

Em se tratando do período destinado à recuperação de aprendizagem, a orientação é a de que, ao final da semana de prova, o/a professor (a) da turma, de posse dos dados, preencha um documento contendo as habilidades, de acordo com a Base Nacional Comum Curricular, que deverão ser trabalhadas e os alunos que apresentaram nível insuficiente6 de aprendizagem nas provas de Língua Portuguesa e Matemática, os quais serão atendidos pelo (a) professor (a) da Sala de Apoio7 (Quadro 2). E orientam, ademais, [...] que na sala referência também haverá um momento destinado à recuperação com todos os estudantes (Cuiabá, 2023b, s/p). E, ao final deste processo, “[...] todos os estudantes deverão fazer a prova tratando somente das habilidades trabalhadas no período” (Cuiabá, 2023b, s/p).

Quadro 2
– Ações em detrimento das provas bimestrais

É importante mencionar que, até o momento, considerando os documentos analisados, não podemos afirmar que os períodos destinados para a recuperação da aprendizagem na Sala de Apoio e/ou em sala de aula, bem como a realização da prova pós-recuperação, relativos ao primeiro, segundo, terceiro e quarto bimestres no ano letivo de 2023, tenham sido desenvolvidos. Sendo assim, observa-se que a responsabilidade da escola e do professor, determinada na LDBEN (1996), de prover meios e estratégias de recuperação, ainda não foi plenamente atendida, evidenciando, portanto, a realização de um programa calcado em instrumento padronizado, classificatório e excludente.

Isto posto, retomando nossa problemática e objetivo com a análise destes documentos, percebemos, portanto, que a concepção de avaliação na rede pública municipal de Cuiabá vem sendo motivo de reflexões ao longo dos anos. Atualmente, tais reflexões, pautadas em Hoffmann (1996; 2000), defendem a avaliação mediadora por meio de um processo contínuo, trazendo elementos que conversam com o proposto na atual LDBEN (1996), DCN (2010) e BNCC (2018). Entretanto, demonstram caráter somativo quando passam a determinar um calendário de provas e recuperação ao final de cada bimestre, tal qual é previsto na primeira LBDEN (1961) e na Reforma do Ensino de 1º e 2 Graus (1971).

Chamamos a atenção para a regulação do trabalho docente frente às práticas pedagógicas, especialmente a avaliativa, demonstrando foco e centralização dos resultados, reduzindo, portanto, a autonomia do professor frente a mecanismos de controle, fato este que segue na contramão da liberdade, já prevista na Reforma do Ensino (1971), na elaboração e julgamento de questões. Hoffmann (1993, p. 26) acrescenta ao exposto quando defende que:

As notas e as provas funcionam como redes de segurança em termos do controle exercido pelos professores sobre seus alunos, das escolas e dos pais sobre os professores, do sistema sobre suas escolas. Controle esse que parece não garantir o ensino de qualidade que viemos pretendendo, pois as estatísticas são cruéis em relação à realidade das nossas escolas.

Deste modo, considerando a concepção de avaliação e as práticas avaliativas propostas pelos documentos estudados, trataremos, a seguir, do instrumento avaliativo Prova Cuiabá, que vem sendo aplicado há pouco mais de uma década em todas as unidades da rede pública municipal do citado município.

4 Prova Cuiabá: teste de proficiência em larga escala

A Prova Cuiabá, definida como avaliação externa e/ou teste de proficiência em larga escala, fruto do Projeto Avaliar8, é um instrumento avaliativo aplicado na rede municipal de ensino de Cuiabá, cujo objetivos desdobram tanto para os alunos quanto para os professores, ou seja, intenciona produzir dados sobre o rendimento escolar e desempenho docente, bem como avaliar a qualidade da educação oferecida no município e orientar a formação profissional (Cuiabá, 2020b; 2021; 2022c; 2022b).

Conforme o vídeo9 “Prova Cuiabá é instrumento de avaliação utilizada pela Secretaria Municipal de Educação”, disponível no canal da Prefeitura de Cuiabá (2022), com entrevista da então coordenadora de formação da Secretaria Municipal de Educação (SME), a mencionada avaliação externa é aplicada na rede municipal desde 2009, mas sem uma regularidade, bem como se afirma que apenas em 2015 passa a fazer parte do Plano Municipal de Educação com proposta de aplicação anual e, a partir de 2022, semestralmente.

No ano de aprovação do Plano Municipal de Educação de Cuiabá, ao final de 2015, cerca de 12 mil alunos matriculados nas turmas do 3º e 7º anos do Ensino Fundamental foram submetidos à Prova Cuiabá (Brandão, 2015). No final do ano de 2018, os alunos das turmas do 1º e 2º anos do Ensino Fundamental, aproximadamente 1.509 alunos, realizaram a Prova Cuiabá-Alfabetização, a qual foi elaborada, aplicada, corrigida e analisada por empresa privada10, especializada na área de alfabetização (Barbant, 2018; Cuiabá, 2020b). Neste ponto, é interessante dialogar com Esteban em sua discussão sobre a política de avaliação da alfabetização a partir do cotidiano escolar em que se evidencia que:

A relação entre a aplicação de uma “provinha” e a garantia da alfabetização das crianças no máximo aos 8 anos de idade expressa a permanência de uma perspectiva redutora da infância, aliada a concepções mecanicistas de alfabetização e de avaliação. Redução que também atinge a professora ou o professor, responsável, por vezes, pela aplicação e correção da prova, nunca por sua elaboração e pela interpretação de seus resultados (Esteban, 2012, p. 588-589, grifo da autora).

No detalhamento da licitação para contratação de empresa de logística, disponível no Portal da Transparência11, ressalta-se que, nos anos de 2016 e 2017, a Prova Cuiabá não foi realizada. Já no ano de 2019, o instrumento foi aplicado em 83 unidades que atendiam ao Ensino Fundamental e apresentou duas caraterísticas distintas, mas complementares: censitária (escolas e anos escolares) e amostral (estudantes). Nos anos de 2020, 2021, 2022 e 2023, a mencionada prova foi realizada e teve como público alvo os alunos do 1º ao 9º ano do Ensino Fundamental e da EJA, totalizando cerca de 31.160, 33.473, 35.867 e 34.802 alunos matriculados, respectivamente, os quais foram avaliados em Língua Portuguesa (leitura e escrita) e Matemática (Cuiabá, 2020b, 2021, 2022b, 2023).

Visando compreender um pouco mais sobre o mencionado instrumento, buscamos por outros documentos, dentre eles, os contratos12 firmados entre a Secretaria Municipal de Educação e as empresas de apoio logístico para sua realização. Localizamos quatro contratos, firmados, respectivamente, com as empresas RDS Minerva Comércio Serviços e Representação Eireli, no ano de 2020 e Instituto Nacional de Seleções e Concursos - Instituto Selecon, nos anos de 2021, 2022 e 2023. O apoio logístico, objeto dos contratos, engloba custeio das despesas para a elaboração dos cadernos do aluno e do aplicador, folha de resposta, impressão, aplicação, correção e elaboração de relatório analítico.

É relevante mencionar, ainda, que, para a realização da mencionada prova no primeiro semestre, a orientação é que haja a troca de professores a fim de que o professor unidocente13, neste momento na função de aplicador, munido de um manual, esteja em sala de aula diferente da sua. Uma outra orientação é a de que, nas turmas do 4º ao 9º ano e da EJA, o professor aplicador não deve realizar a leitura da prova, nem o preenchimento do gabarito/cartão resposta. Diferentemente do que é orientado para as turmas do 1º ao 3º ano, em que o aplicador realiza a leitura e preenche o gabarito a partir das repostas deixadas pelos alunos no caderno de questão. Já no segundo semestre, o professor unidocente se retira da sala de aula e uma pessoa externa à escola, contratada pela empresa prestadora de serviço, assume a função de aplicadora.

Até o ano de 2021, a Prova Cuiabá teve caráter diagnóstico e foi aplicada uma vez ao ano, mas a partir de 2022, esse cenário muda, isto é, passa a ser realizada duas vezes, uma, no primeiro e outra, no segundo semestre. A aplicada no primeiro semestre passa a ser denominada de Prova Cuiabá Intermediária Formativa, de cunho diagnóstico, aplicada e corrigida pelos professores que, com os resultados em mãos, alimentam uma plataforma digital (Google Forms) com a prerrogativa de verificação dos avanços e dificuldades a fim de elaborar intervenções visando a aprendizagem do aluno. Entretanto, tais resultados culminam em uma tabela contendo tanto a média da turma quanto dos alunos, com o quantitativo de questões que cada um errou, acertou, duplicou e/ou deixou em branco, para mais tarde ser exposta em sala de aula. No segundo semestre, com caráter somativo, denominada de Prova Cuiabá de Saída, aplicada e corrigida pela empresa contratada, os dados obtidos refletem em uma média que caracteriza o desempenho acadêmico de cada turma e, consequentemente, repercute no desempenho profissional dos professores através da Avaliação de Desempenho Profissional14 do ano de 2022 (Cuiabá, 2022a).

Considerando as fontes analisadas, podemos inferir, portanto, que a Prova Cuiabá foi aplicada na rede pública municipal um total de dez vezes em um intervalo de pouco mais de uma década, sendo uma antes de sua implementação e, a partir do ano de 2018, com certa regularidade. Sobre os componentes curriculares, Cuiabá (2022c) esclarece que, inicialmente, serão considerados apenas Língua Portuguesa e Matemática15, mas que a Prova Cuiabá avaliará todos os componentes que fazem parte da Matriz Curricular de Referência, entretanto, sua implantação será gradativa.

Dito isto, concluímos que o instrumento avaliativo Prova Cuiabá tem como foco o aumento dos índices, especialmente do Índice de Desenvolvimento da Educação Básica (IDEB) além de ser considerado como uma métrica padronizada acerca do desenvolvimento do aluno em Língua Portuguesa e Matemática, sem levar em consideração a heterogeneidade de uma sala de aula e o percurso trilhado pelo aluno durante as interações dentro e fora do ambiente escolar, descolando, portanto, a prática avaliativa do acompanhamento do processo de ensino-aprendizagem.

Neste viés, chamamos a atenção para o primeiro parágrafo do Artigo 33 das Diretrizes Curriculares Nacionais (2010), uma vez que nele é estabelecido que a análise do rendimento dos alunos com base em avaliação externa, seja em nível nacional, estadual ou municipal, “[...] deve auxiliar os sistemas de ensino e a comunidade escolar a redimensionarem as práticas educativas com vistas ao alcance de melhores resultados” (Brasil, 2010, p. 10), ou seja, a aprendizagem dos alunos e não sua classificação e consequente exclusão. Assim, é necessário compreender que a avaliação externa, no estudo em questão, a Prova Cuiabá, é apenas uma parcela do que é trabalhado na escola, não devendo reduzir a proposta político-pedagógica ao que é avaliado pelos instrumentos em larga escala.

5 Considerações finais

Diante do que foi apresentado, emerge a necessidade de estudos, inclusive em nível local, que tratem dos processos avaliativos que expandam limites espaciais e temporais de sala de aula e de espaços formais de educação.

Longe de esgotar nossa inquietude, percebemos que, ao longo dos anos, as legislações foram sendo pensadas de acordo com o contexto histórico. Em outras palavras, tanto a primeira LDBEN (1961) quanto a Reforma do Ensino (1971), em um intervalo de dez anos, apresentam de maneira muito análoga o tipo de avaliação, neste caso de aproveitamento, até então prevista para acontecer nas escolas brasileiras. Já em 1996, 25 anos depois, com a nova LDBEN, a proposta faz referência a uma avaliação contínua e que, na Educação Básica, inclusive no nível fundamental, direciona para uma prática avaliativa processual, mediante acompanhamento e registro dos diferentes instrumentos, o que é corroborado pela Diretriz Curricular Nacional (2010) e Base Nacional Comum Curricular (2018).

No que tange à Escola Sarã, que resulta da sistematização dos ciclos de formação nas escolas municipais de Cuiabá no ano de 2000, é relevante evidenciar que, inicialmente, a proposta de avaliação era centrada na classificação, mas novas análises passam a existir em prol de uma avaliação mediadora, proporcionando reflexões e colocando o aluno como protagonista do seu desenvolvimento.

Seguindo as reflexões da Escola Sarã e acompanhando as atualizações das políticas púbicas educacionais, a Escola Cuiabana propõe um processo avaliativo constante com ênfase na avaliação diagnóstica e formativa. Indica-se também que os professores utilizem diferentes instrumentos, bem como registrem o desenvolvimento do aluno. Embora a Escola Cuiabana sistematize as práticas avaliativas por etapa de ensino, de um modo geral defende que nas escolas de Cuiabá a avaliação seja constante, sistemática e reflexiva, através da interação professor e aluno visando, portanto, romper com o caráter classificatório e excludente em prol de um processo contínuo e qualitativo. Entretanto, demonstra-se que os instrumentos com caráter somativo podem estar presentes, o que pode ser observado, especialmente no ano de 2023, com a proposta da semana de provas bimestrais a ser realizada ao final de cada bimestre, bem como o período destinado à recuperação da aprendizagem logo após a tabulação dos dados e classificação dos alunos quanto ao nível de aprendizado. Tal fato nos chama a atenção por apresentar uma disparidade ao que a Escola Cuiabana vem propondo no decorrer de sua redação.

A Prova Cuiabá, atualmente com foco na Língua Portuguesa e Matemática, vem com uma proposta de avaliação externa, inclusive com elaboração, aplicação e correção de uma empresa terceirizada. Quanto a seus objetivos, desperta-nos a atenção o caráter classificatório e excludente, com o propósito de obter dados sobre o rendimento dos alunos e professores por meio de um único instrumento o que, em muitos casos, pode apresentar uma discrepância ao que, de fato, tem como resultado do processo de ensino-aprendizagem ao longo do ano letivo.

E, por constituir uma estratégia que tem por finalidade o aumento do IDEB (7ª meta16), demonstra um caráter mecânico, centrado no ato de examinar, muito utilizado no início do século passado. Deste modo, os dados obtidos não redimensionam a ação pedagógica em prol do desenvolvimento do processo de ensino-aprendizagem. Servem, entretanto, como mecanismos de controle, baseados nos aspectos quantitativos e seleção dos alunos, fazendo com que a avaliação perca seu verdadeiro propósito.

Desta análise, destacamos dois pontos relevantes sobre avaliação nos documentos analisados. O primeiro, denominado de marco situacional, é expresso que o processo avaliativo no mencionado município ainda não resultou em consideráveis avanços. O segundo, abordado como meta, visa atingir os níveis de proficiente ou avançado no aprendizado da alfabetização.

Muito distante de responder a todas as nossas indagações acerca dos processos avaliativos na rede municipal de educação de Cuiabá, temos por hora que este prévio estudo possibilitou ampliar horizontes sobre a avaliação, especialmente no mencionado município. Esperamos que este texto possibilite que outras questões e reflexões sobre os processos avaliativos sejam evidenciadas em futuras pesquisas.

Referências

BARBANT, M. Alunos dos anos iniciais do Ensino Fundamental participam nesta terça-feira da Prova Cuiabá-Alfabetização. Notícias ,12 nov. 2018. Disponível em: https://www.cuiaba.mt.gov.br/educacao/alunos-dos-anos-iniciais-do-ensino-fundamental-participam-nesta-terca-feira-da-prova-cuiaba-alfabetizacao/18513. Acesso em: 10 mar. 2023.

BRANDÃO, R. Alunos da rede municipal passam por avaliações da Prova Cuiabá e Provinha Brasil. Notícias, 04 dez. 2015. Disponível em: https://www.cuiaba.mt.gov.br/secretarias/educacao/alunos-da-rede-municipal-passam-por-avaliacoes-da-prova-cuiaba-e-provinha-brasil/12095. Acesso em: 10 mar. 2023.

BRASIL. Base Nacional Comum Curricular - Ensino Médio. 2018. Disponível em: http://basenacionalcomum.mec.gov.br/images/BNCC_EI_EF_110518_versaofinal_site.pdf. Acesso em: 02 fev. 2022.

BRASIL. Lei nº 4.024, de 20 de dezembro de 1961. Fixa as Diretrizes e Bases da Educação Nacional. Diário Oficial da União, Brasília, DF, 1961. Disponível em: https://www2.camara.leg.br/legin/fed/lei/1960-1969/lei-4024-20-dezembro-1961-353722-publicacaooriginal-1-pl.html. Acesso em: 01 fev. 2022.

BRASIL. Lei nº 5.692, de 11 de agosto de 1971. Fixa Diretrizes e Bases para o ensino de 1º e 2º graus, e dá outras providências. Diário Oficial da União, Brasília, DF, 1971. Disponível em: https://www2.camara.leg.br/legin/fed/lei/1970-1979/lei-5692-11-agosto-1971-357752-publicacaooriginal-1-pl.html. Acesso em: 01 fev. 2022.

BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 1996. Disponível em: http://www.planalto.gov.br/ccivil_03/Leis/L9394compilado.htm. Acesso em: 01 fev. 2022.

BRASIL. Resolução CNE/CEB nº 7, de 14 de dezembro de 2010. Fixa Diretrizes Curriculares Nacionais para o Ensino Fundamental de 9 (nove) anos. Disponível em: http://portal.mec.gov.br/dmdocuments/rceb007_10.pdf. Acesso em: 15 jan. 2025.

BRASIL. Resolução CNE/CP nº 2, de 22 de dezembro de 2017. Disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=79631- rcp002-17-pdf&category_slug=dezembro-2017-pdf&Itemid=30192. Acesso em: 22 dez 2023.

CAIXETA, S. S. Unidocência: uma análise do trabalho pedagógico de professoras dos anos iniciais do ensino fundamental. 2017. Dissertação (Mestrado em Educação) - Universidade Federal de Uberlândia, Uberlândia. Disponível em: https://repositorio.ufu.br/bitstream/123456789/20691/1/Unidoc%C3%AAnciaAnaliseTrabalho.pdf. Acesso em: 29 set. 2022.

CUIABÁ. Câmara Municipal. Lei n. 5949, de 24 de junho de 2015. Dispõe sobre a aprovação do plano municipal de educação do município de Cuiabá para o período de 2015/2024. Disponível em: https://leismunicipais.com.br/a/mt/c/cuiaba/lei-ordinaria/2015/594/5949/lei-ordinaria-n-5949-2015-dispoe-sobre-a-aprovacao-do-plano-municipal-de-educacao-do-municipio-de-cuiaba-para-o-periodo-de-20152024. Acesso em: 15 fev. 2023.

CUIABÁ. Secretaria Municipal de Educação. Avaliação de desempenho profissional 2022: orientações sobre a avaliação de desempenho profissional - ADP. Cuiabá: SME, 2022a.

CUIABÁ. Secretaria Municipal de Educação. Contrato n. 159/2020/FUNED. Cuiabá: SME, 2020b. Portal da Transparência da Prefeitura de Cuiabá, 2020b. Disponível em: http://transparencia.cuiaba.mt.gov.br/portaltransparencia/transparencia/#/licitacao-contrato/contrato. Acesso em: 12 dez. 2022.

CUIABÁ. Secretaria Municipal de Educação. Contrato n. 323/2021/FUNED. Cuiabá: SME, 2021. Portal da Transparência da Prefeitura de Cuiabá, 2021. Disponível em: http://transparencia.cuiaba.mt.gov.br/portaltransparencia/transparencia/#/licitacao-contrato/contrato. Acesso em: 12 dez. 2022.

CUIABÁ. Secretaria Municipal de Educação. Contrato n. 541/2022/FUNED. Cuiabá: SME, 2022b. Portal da Transparência da Prefeitura de Cuiabá, 2022b. Disponível em: http://transparencia.cuiaba.mt.gov.br/portaltransparencia/transparencia/#/licitacao-contrato/contrato. Acesso em: 12 dez. 2022.

CUIABÁ. Secretaria Municipal de Educação. Escola Cuiabana: cultura, tempos de vida, direitos de aprendizagem e inclusão. 2. ed. Cuiabá/MT: Gráfica Print, 2020b.

CUIABÁ. Secretaria Municipal de Educação. Escola Sarã: Cuiabá nos ciclos de formação - na política educacional do presente, a garantia do futuro. Cuiabá: SME, 2000.

CUIABÁ. Secretaria Municipal de Educação. Escolas Municipais. Disponível em: https://www.cuiaba.mt.gov.br/secretarias/educacao/escolas-municipais/. Acesso em: 04 nov. 2023a.

CUIABÁ. Secretaria Municipal de Educação. Orientação para Avaliação Bimestral (Prova). Cuiabá: SME, 2023b.

CUIABÁ. Secretaria Municipal de Educação. Portaria n. 372/2022/GS/SME, de 20 de maio de 2022c. Estabelece critérios e procedimentos para a implementação do programa de avaliação institucional da rede municipal de educação de Cuiabá. Gazeta Municipal. Disponível em: http://gazetamunicipal.cuiaba.mt.gov.br/api/api/editions/viewPdf/10067. Acesso em: 16 fev. 2023.

CUIABÁ. Secretaria Municipal de Planejamento. Plano Estratégico 2021/2030. Disponível em: https://legislativo.camaracuiaba.mt.gov.br/Arquivo/Documents/EXT/202109011323031337.pdf. Acesso em: 10 mar. 2023.

ESTEBAN, M. T. Considerações sobre a política de avaliação da alfabetização: pensando a partir do cotidiano escolar. Revista Brasileira de Educação, v. 17, n. 51, 2012. Disponível em: https://www.scielo.br/j/rbedu/a/HKH8k3XsWP7NzsRmjnNGYDm/?format=pdf&lang=pt. Acesso em: 07 maio 2023.

GIL, A. C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 2008.

HOFFMANN, J. M. L. Avaliação mediadora: uma prática em construção da pré-escola à universidade. Porto Alegre: Educação e Realidade, 1993.

HOFFMANN, J. M. L. Avaliação na pré-escola: um olhar sensível e reflexivo sobre a criança. Cadernos da Educação Infantil. Porto Alegre: Mediação, 1996.

HOFFMANN, J. M. L. Avaliação Mediadora: uma prática em construção da pré-escola à universidade. Porto Alegre: Educação & Realidade, 2000.

LUCKESI, C. C. Avaliação da aprendizagem: componente do ato pedagógico. São Paulo: Cortez, 2011.

LUCKESI, C. C. Avaliação em educação: questões epistemológicas e práticas. São Paulo: Cortez, 2018.

OLIVEIRA, J. N.; SILVA, D. G. Implicações da prova cuiabá no processo de avaliação de desempenho docente no município de Cuiabá, MT. Série Estudos, [S. l.], v. 29, n. 65, p. 269-286, jan./abr. 2024. https://doi.org/10.20435/serieestudos.v29i65.1810

PÁDUA, E. M. M. Metodologia da pesquisa: Abordagem teórico-prática. 10. ed. Campinas, SP: Papirus, 2004.

PREFEITURA DE CUIABÁ. Prova Cuiabá é instrumento de avaliação utilizada pela Secretaria Municipal de Educação. Prefeitura de Cuiabá, 2022. vídeo 15 min. Disponível em: https://www.youtube.com/watch?v=6fVjKT2yRRM. Acesso em: 10 mar. 2023.

SILVA, E. L. Metodologia da Pesquisa elaboração de Dissertação. 3. ed. Florianópolis: Laboratório de Ensino a Distância da UFSC, 2001.

SILVA, L. C. P. Avaliação Institucional Participativa como instrumento de autonomia no fortalecimento da gestão democrática escolar. Revista Educação e Políticas em Debate, v. 9, n. 2, p. 455-471, mai./ago. 2020. Disponível em: https://seer.ufu.br/index.php/revistaeducaopoliticas/article/view/55039/29378. Acesso em: 01 maio 2023.

Notas

1 A rede pública municipal de Cuiabá é composta por 89 Escolas Municipais de Educação Básica, sendo 79 urbanas, oito rurais e duas cívico-militares (Cuiabá, 2023a).
2 O recorte temporal inicialmente estabelecido, isto é, os últimos cinco anos, visava garantir que os estudos estivessem fundamentados em discussões mais recentes, contemplando avanços tecnológicos, teóricos e metodológicos. No entanto, devido à escassez de trabalhos disponíveis, foi necessário ampliar o período de análise para os últimos dez anos. Essa decisão está alinhada com a data de aprovação do Plano Municipal de Educação do município em questão, ocorrida em 2015.
3 “A educação básica poderá organizar-se em séries anuais, períodos semestrais, ciclos, alternância regular de períodos de estudos, grupos não-seriados, com base na idade, na competência e em outros critérios, ou por forma diversa de organização, sempre que o interesse do processo de aprendizagem assim o recomendar. É facultado aos sistemas de ensino desdobrar o ensino fundamental em ciclos” (LDBEN, 1996).
4 Orientação para Avaliação Bimestral (Prova).
5 Segundo Cuiabá (2022c), trata-se de um conjunto de habilidades, baseadas na Base Nacional Comum Curricular (BNCC), organizadas em unidades.
6 Para Cuiabá (2020b), os níveis de aprendizagem são denominados de insuficiente (abaixo do básico), básico, proficiente (aprendizado esperado) e avançado (além da expectativa).
7 “[...] é um espaço de construção do conhecimento que tem por objetivo ampliar o leque de intervenções já realizadas em sala de aula, atendendo alunos do 2º ao 6º ano, sempre no contraturno, por meio de agrupamentos por nível de aprendizagem. O atendimento é realizado com foco nos componentes curriculares de Língua Portuguesa e Matemática” (Cuiabá, 2020b, p. 245).
8 Implantados na rede municipal de Cuiabá com efetivação da Avaliação Institucional, Prova Cuiabá e Índice de Desenvolvimento da Educação de Cuiabá (IDEC) nas unidades educacionais (Cuiabá, 2015).
10 É importante ressaltar que, embora as informações no Portal da Transparência sejam a partir de 2014, não localizamos o contrato firmado entre a Secretaria Municipal de Educação e a empresa, que segundo Barbant (2018), foi responsável pela logística da Prova Cuiabá no ano de 2018.
12 Destacamos que o mencionado documento é de domínio público do Portal da Transparência da Prefeitura de Cuiabá. Disponível em: http://transparencia.cuiaba.mt.gov.br/portaltransparencia/transparencia/#/licitacao-contrato/contrato.
13 Nomenclatura utilizada para o professor licenciado em Pedagogia que atua frente a vários componentes curriculares (Língua Portuguesa, Matemática, Ciências, História, Geografia, entre outras) que compõem o currículo escolar dos anos iniciais do Ensino Fundamental (Caixeta, 2017).
15 “O Índice de Desenvolvimento da Educação Básica – IDEB tornou-se a referência e o instrumento gerencial principal para definir a qualidade da aprendizagem e, por consequência, das escolas, mesmo sabendo-se insuficiente avaliar sua qualidade com base apenas na proficiência em matemática e linguagem” (Silva, 2020, p. 456).
16 Promover, até 2023, a qualidade da Educação Básica em todas as etapas e modalidades do sistema de ensino, com a melhoria do fluxo escolar e da aprendizagem, de modo a atingir médias nacionais para o IDEB (Cuiabá, 2015, p. 120, 123).
Dados: No que diz respeito aos dados, foram produzidos no contexto da pesquisa de mestrado, autorizada pelo Comitê de Ética em Pesquisa (CEP), no Programa de Pós-Graduação em Educação da Universidade Federal de Mato Grosso (PPGE/UFMT) e publicados no próprio artigo.

Notas de autor

Editores que avaliaram este artigo: Fátima Cunha Ferreira Pinto

Candido Alberto da Costa Gomes

Declaración de intereses

Conflitos de interesse: Os autores reconhecem que não há conflitos de interesse de qualquer natureza (pessoal, comercial, financeira, acadêmica ou política).


Buscar:
Ir a la Página
IR
Visor de artículos científicos generados a partir de XML-JATS por