Servicios
Descargas
Buscar
Idiomas
P. Completa
Desempenho acadêmico discente e sua relação com a avaliação docente: proposta de framework teórico
Roberto Brazileiro Paixão; Anamaria Azevedo Lafetá Rabelo
Roberto Brazileiro Paixão; Anamaria Azevedo Lafetá Rabelo
Desempenho acadêmico discente e sua relação com a avaliação docente: proposta de framework teórico
Student Academic Performance and its Relationship with Teacher Evaluation: Theoretical Framework proposal
Desempeño académico discente y su relación con la evaluación de los docentes: propuesta de marco teórico
Revista Educação em Questão, vol. 56, núm. 50, pp. 140-162, 2018
Universidade Federal do Rio Grande do Norte
resúmenes
secciones
referencias
imágenes

Resumo: Este estudo tem como objetivo retomar um debate teórico e obter um framework de análise sobre a possível influência das notas dos alunos na avaliação que eles fazem de seus professores. Buscou-se entender a relação nota-avaliação por meio do levantamento de estudos anteriores e da revisão bibliográfica sobre o assunto. Desenvolveu-se uma estrutura conceitual de framework tendo como base o nível de significância da relação entre desempenho acadêmico discente e avaliação docente. Os resultados da pesquisa apontaram que alguns autores reconhecem a relação na qual a nota do aluno interfere na avaliação do professor, explicada pelo pacto de leniência ou pela real aprendizagem. Por outro lado, alguns autores mostram que essa relação pode ser não significativa e que existem outras variáveis como gênero, idade e experi- ência do professor que também interferem na avaliação. Os resultados encontrados permitem uma melhor compreensão da relação na perspectiva de diversos autores, mas vale ressaltar a necessidade do uso de abordagens metodológicas distintas para estabelecer como a relação nota-avaliação acontece.

Palavras-chave:AvaliaçãoAvaliação,NotaNota,ProfessorProfessor,AlunoAluno.

Abstract: This study aims to retake a theoretical debate and to obtain a framework of analysis about the possible influence of students' grades on the evaluations they make of teachers. We sought to understand the the grade-evaluation relation, through the collection of previous studies and the bibliographic review on the subject. We developed a conceptual framework structure based on the level of significance of the relationship between student academic performance and teacher evaluation The results of the research indicated that some authors recognize the relation in which the student's grade interferes in the evaluation of the teacher, explained by the pact of leniency or by the real learning. On the other hand, some authors show that this relationship is not significant and there are other variables such as gender, age and teacher experience that also interfere in the evaluation. The results found allow a better understanding of the relationship from the perspective of several authors, but it is worth emphasizing the need to use different methodologi- cal approaches to establish how the grade-evaluation relationship happens.

Keywords: Evaluation, Grade, Teacher, Student.

Resumen: Este estudio tiene como objetivo retomar un debate teórico y obtener un marco de análisis sobre la posible influencia de las notas de los alumnos en la evaluación que ellos hacen de sus profe- sores. Se buscó entender la relación nota-evaluación por medio del levantamiento de estudios anteriores y de la revisión de literatura sobre el asunto. Se desarrolló una estructura conceptual de marco, teniendo como base la significancia de la relación entre desempeño académico discente y evaluación docente. Los resultados de la investigación apuntaron que algunos autores reconocen la relación en la cual la nota del alumno interfiere en la evaluación del profesor, expli- cada por el pacto de lenidad o por el real aprendizaje. Por otro lado, algunos autores muestran que esa relación puede ser es no significativa y que existen otras variables como género, edad y experiencia del profesor que también interfieren en la evaluación. Los resultados encontrados permiten una mejor comprensión de la relación en la perspectiva de diversos autores, pero vale resaltar la necesidad del uso de enfoques metodológicos distintos para establecer cómo la rela- ción nota-evaluación ocurre.

Palabras clave: Evaluación, Nota, Maestro, Alumnos.

Carátula del artículo

Artigos

Desempenho acadêmico discente e sua relação com a avaliação docente: proposta de framework teórico

Student Academic Performance and its Relationship with Teacher Evaluation: Theoretical Framework proposal

Desempeño académico discente y su relación con la evaluación de los docentes: propuesta de marco teórico

Roberto Brazileiro Paixão
Universidade Federal da Bahia, Brasil
Anamaria Azevedo Lafetá Rabelo
Instituto Federal de Educação, Ciência e Tecnologia do Norte de Minas Gerais, Brasil
Revista Educação em Questão, vol. 56, núm. 50, pp. 140-162, 2018
Universidade Federal do Rio Grande do Norte

Recepción: 21 Agosto 2018

Aprobación: 19 Octubre 2018

Introdução

Neste trabalho, aborda-se a avaliação dos docentes realizada pelos discentes e a influência do desempenho acadêmico do aluno nesse processo. Devido à relevância atribuída à avaliação docente, é importante analisar a possível influência do desempenho acadêmico do aluno nas avaliações dos professores.

O objetivo deste artigo é retomar um debate teórico relativamente extenso e obter um framework de análise sobre a possível influência das notas dos alunos na avaliação que eles fazem de seus professores. Sobre desempe- nho acadêmico, entendese, para fins deste trabalho, como o desempenho dos alunos em termos de média de suas notas nas disciplinas.

Parte-se da problemática de que o aluno é influenciado pela nota recebida dos professores das disciplinas e que, no momento da avaliação docente, ele pode evidenciar seu contentamento ou descontentamento com a nota recebida, seja pelos aparentes laços criados entre os discentes e os docentes considerados mais “bonzinhos”, ou pelas críticas dos discentes aos professores considerados mais “durões” (CLAYSON, 2009; CARREL, WEST, 2010; BENTON, CASHIN, 2012).

A interferência do desempenho acadêmico do aluno na avaliação do docente teoricamente não deve ser comprometida pelo processo de troca aparente que existe na relação avaliação-nota. Não deve existir interferência da nota recebida pelo aluno nas avaliações de aprendizagem sobre a avaliação que ele faz do docente. Portanto, é relevante retomar o debate sobre a influência da nota do aluno na avaliação do professor.

Avaliação docente e desempenho acadêmico discente

A partir da década de 1970, a validade das avaliações docentes feitas pelos discentes começou a ser questionada, devido a sua relação com as notas dos alunos. As pesquisas atribuíam à interferência das notas dos alu- nos um efeito negativo ou positivo sobre a avaliação dos professores (DE BEM, 2004; PRIMI, MORAES, 2005).

Na década de 1980, de acordo com De Bem (2004) e Primi e Moraes (2005), baseados em Greenwald (1997), os estudos correlacionais sobre a influência da nota na avaliação docente passaram a dar suporte às avalia- ções feitas pelos discentes, considerando que as interferências poderiam surgir de outros fatores que não eram as notas dos discentes como, por exemplo, tamanho da classe, interação do professor com a turma, clareza expositiva do professor, conteúdo do professor, a efetividade do ensino, a motivação dos estudantes ou o interesse prévio do aluno pela disciplina.

A partir da década de 1990 a discussão sobre a correlação entre variáveis e a avaliação docente pelo discente foram mais especificadas. De Bem (2004) e Primi e Morais (2005) afirmam que a validade e a utilidade da avaliação dos estudantes em relação aos seus professores permeavam questões como: a) a avaliação pode ser influenciada por variáveis não relacio- nadas ao ensino em si?; b) em que nível essa correlação se encontra?; c) qual a unidimensionalidade ou multidimensionalidade da medida?; e d) o tipo de avaliação serve aos propósitos principais de avaliar o desempenho docente e melhorar o ensino oferecido?

No contexto atual, tem-se verificado um fenômeno chamado inflação das notas ou grade inflation, como citado por Marsh (1984), que é justificado pela correlação entre nota do aluno e a avaliação que ele faz do docente, como apresenta Braga, Paccagnella e Pelizarri (2014).

As abordagens teóricas encontradas para explicar a inflação das notas são citadas por Johnson (2003), como a teacher efectiveness ou efetivi- dade de ensino e a grade-leniency, conhecida também como leniência das notas citado por Morais (2005), ou ainda efeito de reciprocidade (CLAYSON, 2009) ou efeito de clemência (BRAGA; PACCAGNELLA; PELLIZZARI, 2014).

Conforme a abordagem sobre o teacher efectiveness, segundo Clayson (2009) e Johnson (2003), o aluno aprenderia mais com professo- res considerados bons, e por isso, receberia notas mais altas, devido a um aprendizado real. Já a abordagem sobre grade-leninecy, seria a influência na avaliação propriamente dita, no qual o aluno dá uma nota boa ao professor porque recebeu uma nota boa, não sendo apresentados os reais desempenhos, nem do docente, nem do aluno.

Essa inflação de notas pode ocasionar consequências no modo de agir do docente e do discente. O professor pode mostrar-se menos rigoroso, ou mais “bonzinho” ao atribuir notas aos alunos, como citam Paiva e Sade (2006) e Bouth (2013). Isso, de acordo com Johnson (2003), impõe maiores dificuldades em analisar o ensino do professor ou classificar os alunos que realmente merecem as melhores notas.

Os estudos ainda são inconclusos ao abordar a relação entre a ava- liação docente e o desempenho acadêmico discente. Alguns autores admitem uma correlação positiva entre as variáveis. Assim, quanto maior a nota do aluno, melhor a sua avaliação do docente. Ou, quanto pior a nota do aluno, pior a sua avaliação do docente.

Uma corrente de autores tenta explicar a relação entre as variáveis apresentando outros fatores, como a real aprendizagem do aluno ou a efe- tividade do professor. Outros autores consideram a correlação positiva muito fraca para ser significativa.

Por outro lado, existem aqueles que não acreditam na relação entre o desempenho acadêmico discente e a avaliação do docente feita pelo aluno. Os resultados discrepantes encontrados não permitem afirmar quando e por que a nota do aluno influencia a avaliação feita pelo discente.

O quadro 1 traz um apanhado sobre a associação entre a nota do discente e a avaliação docente, apresentando as diferentes posições dos auto- res sobre o assunto.

Quadro 1
Quadro resumo da relação entre avaliação docen- te e desempenho acadêmico discente

Fonte: elaborado pelos autores

A seguir, são apresentados estudos sobre a relação avaliação-nota e também a interferência de outras variáveis, a partir da seguinte estrutura proposta: a) estudos que identificam relação positiva entre a nota do aluno e a avaliação docente pelo discente; b) estudos que apresentam uma relação não significativa entre nota do aluno e avaliação docente pelo discente; e c) estudos que apresentam a interferência de outras variáveis

Relação positiva entre nota do aluno e avaliação docente pelo discente

Um dos primeiros estudos da relação nota-avaliação docente ocorreu na década de 1970 na Universidade de Utah, envolvendo 637 estudantes de 17 cursos diferentes. Foi encontrada por Granzin e Panter (1973) uma correlação significativa entre as notas esperadas pelos alunos e suas avaliações sobre a qualidade do professor. Resultado similar foi obtido por Doyle e Whitely (1974), citados por Moreira (1988), ao analisar a correlação entre as notas finais dos alunos e a avaliação da eficácia geral do professor.

Carvalho (1990) realizou um estudo objetivando analisar o processo de avaliação docente através dos alunos do Departamento de Eletrônica e Sistemas da Universidade Federal de Pernambuco e a sua relação com as características do corpo docente. A coleta dos dados sobre as características dos professores e das notas dos alunos foi feita por meio da análise documen- tal. Com a aplicação de questionários junto aos alunos, a autora realizou a avaliação dos docentes que atuaram na universidade entre os anos de 1986 a 1988. Por meio da análise estatística, ela concluiu que as notas obtidas pelos discentes relacionavam-se às avaliações que eles fizeram dos docentes de forma positiva.

Primi e Moraes (2005) investigaram a validade e precisão de um ques- tionário de avaliação institucional por meio das respostas de 3.689 estudantes que avaliaram, voluntariamente, 568 professores e 720 disciplinas de 36 cur- sos de graduação e pós-graduação de uma universidade. A associação de dependência entre as variáveis nota do aluno na avaliação de aprendizagem e nota que ele atribui ao professor foi feita pelos autores. Eles não esperavam encontrar nenhuma relação entre as variáveis. Entretanto, descobriram que a relação entre a nota do discente e avaliação do docente foi estatisticamente significativa. A variável avaliação que o aluno faz do professor foi calculada pela média dos pontos obtidos com a resposta dos itens do questionário. A variável nota do aluno foi obtida por meio da média final do desempenho do discente na disciplina do professor.

Em seguida, Primi e Moraes (2005) analisaram as relações entre as variáveis de maneira comparativa entre três grupos. O primeiro grupo era com- posto por alunos que apresentaram correlações positivas significativas entre as variáveis nota discente e avaliação docente. O segundo grupo era formado por alunos com correlações negativas e significativas. No terceiro grupo, estavam os casos em que não se verificou relação entre as variáveis. Para cada grupo, os autores compararam os resultados médios entre as variáveis. No primeiro grupo, no qual existia a correlação positiva, as notas atribuídas aos professores e as notas dos alunos variaram mais do que nos demais grupos. Os alunos desse grupo apresentavam as menores notas. Assim, os autores concluíram que, em 12,2 % dos casos, houve relação entre a nota discente e avaliação que ele faz do docente, número que, apesar de não elevado, não pode ser desconsiderado.

Clayson (2009) realizou uma pesquisa bibliográfica em busca de artigos que tratam da associação entre a avaliação do docente pelo aluno (Student Evaluations of Teaching − SET) e a aprendizagem do discente. No total, o autor encontrou 42 estudos sobre o assunto. O primeiro artigo foi publi- cado em 1953 e o último artigo foi do ano de 2007. A maioria das pesquisas que fazem a associação entre a nota do aluno e a avaliação docente foi iniciada a partir de 1970. Dos 42 estudos encontrados, somente dez não apre- sentavam associação entre avaliação que o discente faz do docente e a nota do aluno. Dos 32 estudos que abordavam a associação, 13 artigos apresentaram uma correlação positiva e significativa entre as variáveis.

Em suas discussões, Clayson (2009) relata que os estudos mais antigos sobre a relação entre as variáveis parecem ter resultados mais significativos do que os estudos mais recentes. Isso fez com que ele incluísse a idade da publicação como variável de controle e levou a considerar que essas diferenças devem-se ao fato de que os pesquisadores mais novos têm técnicas estatísticas mais sofisticadas ao seu alcance.

Benton e Cashin (2012) efetivaram um estudo, visando à atualização do artigo publicado por Cashin (1995), resumindo as principais pesquisas e literatura das avaliações do professor pelo estudante, obtidas na base ERIC, entre os anos de 1970 a 2010. No final de 2010, havia 2.875 referências que retornaram a pesquisa com as palavras-chaves: avaliação do aluno e desempenho do professor. Como destaque em relação aos resultados sobre a relação entre a nota do aluno e a avaliação que ele faz do professor, os autores apon- taram os estudos de Howard e Maxwell (1980; 1997), Braskamp, Branderburg e Ory (1984), Feldman (1997), Marsh e Roche (2000), Centra (2007) e Marsh (2007), todos corroborando a correlação positiva entre as variáveis.

Nos resultados encontrados por Benton e Cashin (2012) sobre os tra- balhos elaborados por Feldman (1989), Cohen (1981), Benton, Duchon e Pallet (2011), as avaliações dos alunos correlacionaram-se positivamente com a nota do discente, levando-se em consideração as seguintes dimensões: aprendiza- gem, organização do curso, clareza do professor, respeito aos estudantes, estímulo do professor e interesse do aluno.

Feldman (2007) relatou as correlações médias entre uma medida de desempenho do aluno e 24 dimensões de um instrumento de avaliação docente. Embora as correlações entre a nota do aluno e a avaliação do professor não fossem tão fortes, todas demonstraram relacionamento positivo.

Boring, Otoboni e Stark (2016) procederam a um estudo sobre a influ- ência do gênero e da expectativa de nota do aluno na avaliação docente com 4.423 alunos, que avaliaram 379 professores em seis cursos de primeiro ano em uma universidade francesa. Os dados também foram obtidos de questionários aplicados de maneira on.line por uma universidade dos Estados Unidos, entre os anos de 2008 a 2013. Antes de fazer suas considerações sobre o estudo, os autores descrevem as características do mesmo. As notas obtidas foram disponibilizadas para os alunos antes de realizarem a avaliação docente. As avaliações do ensino foram obrigatórias, com uma taxa de retorno aproximada de 100%. Foram avaliados os professores (instrutores de seção) das disciplinas de Macroeconomia, Microeconomia, História, Sociologia e Instituições Políticas. O instrumento de avaliação da universidade americana tratava de questões relacionadas ao profissionalismo, plenitude, cuidado, entusiasmo, comunicação, utilidade, feedback, prontidão, consistência, impar- cialidade, responsividade, elogio, conhecimento e clareza. Para a relação entre a nota e a avaliação do ensino, os resultados apresentaram uma asso- ciação negativa e não significativa apenas para a disciplina de Instituições Políticas (r = 0,32). Nas demais disciplinas, os valores da correlação foram sig- nificativos e positivos: História (0,32), Macroeconomia (0,15), Microeconomia (0,13), Ciência Política (0,17) e Sociologia (0,24).

Em resumo, os autores concluíram que a correlação média entre a avaliação que o aluno faz do professor e a nota dele em cada disciplina é positiva e significativa. Entretanto, o relacionamento entre a avaliação do docente pelo discente e a nota final do aluno, apesar de ser positivo, se mostra enfraquecido.

A correlação avaliação-nota positiva é explicada por diversos autores pesquisados com base em duas perspectivas distintas: pela real aprendizagem do aluno; ou pela existência do pacto de leniência, ou efeito de reciprocidade.

Correlação positiva explicada pela real aprendizagem do aluno

Através de uma meta-análise sobre 68 cursos, Cohen (1981) encon- trou uma correlação positiva entre a nota do aluno e avaliação docente nos seguintes constructos: conquista ou aprendizado do aluno (0,47); avaliação total do curso (0,47); avaliação global do professor (0,44); habilidade do professor (0,50); estrutura do professor (0,47); relacionamento do professor (0,31) e interação do professor (0,22). O autor conclui que tais correlações podem, de fato, ser fruto da real aprendizagem do aluno, mostrando que a avaliação docente pelo discente poderia ser uma medida de eficácia de ensino.

Os relacionamentos positivos entre a nota do aluno e a avaliação que ele faz do professor são justificados por Greenwald e Gillmore (1998) e Moreira (1981). Os autores entendem que a eficácia de ensino do professor, a qualidade instrucional do docente e a motivação do aluno fazem com que o discente aprenda mais e obtenha uma nota mais alta, o que, consequente- mente, impacta uma melhor avaliação que ele faz do docente. Marsh (1984; 2007) segue a mesma linha e argumenta que um ensino mais efetivo, propor- ciona um melhor aprendizado, aumentando a nota dos professores avaliados. Assim, o aluno com maior nota fica mais satisfeito com a aprendizagem recebida e, consequentemente, avalia melhor o professor.

Centra (2007) acrescenta que o aluno avalia melhor o professor que tem uma metodologia mais elaborada e que gasta mais tempo investindo no preparo de aulas. Nessa linha, Benton e Cashin (2012) destacam ainda que as características pessoais dos professores como clareza na apresentação ou estímulo dado ao discente permitem que os alunos aprendam mais e, assim, faz com que recebam as melhores avaliações.

Contudo, Santoro, Yamashita e Assenhaimer (2012) advertem que, embora os professores que costumam dar as notas maiores sejam os mais bem avaliados, essa informação, de forma isolada, não é suficiente para afirmar que os professores mal avaliados pelos alunos sejam de fato “ruins”.

Correlação positiva explicada pelo pacto de leniência

Tejedor e Monteiro (1990) entendem que existe um sentimento entre os professores no sentido de que os alunos com notas mais altas os avaliam mais positivamente. Moreira (1988) explica que autores que seguem essa linha entendem que o professor acaba sendo corresponsável pela avaliação, uma vez que tenderiam a atribuir notas similares aquelas que obteve ou, por sua vez, os alunos avaliaram melhor os professores que lhes deram notas mais altas. O aluno, então, associaria seu sucesso ou insucesso na disciplina com a avaliação que faz do professor. Sendo assim, “[...] o binômio nota-avaliação fecha-se em um círculo sem abertura” (MOREIRA, 1988, p. 77). Em outras pala- vras, as percepções dos alunos sobre suas notas estão relacionadas com as avaliações dos professores devido ao pacto de leniência ou devido ao “efeito de reciprocidade”, termo cunhado por Clayson (2009).

Em suas análises, Krautmann e Sander (1999) utilizaram os dados de avaliações de estudantes de cursos de economia ministrados na Universidade De Paul, em Chicago, entre os anos de 1994 a 1996. A variável principal era a nota que o aluno esperava receber no curso. Os resultados indicaram uma correlação existente entre a nota esperada e a avaliação docente (0,29), mas que caía consideravelmente (para 0,03) quando variáveis de identifica- ção foram excluídas. Em suas análises, os autores afirmam que os resultados estatísticos obtidos indicam que as avaliações dos alunos a respeito dos professores estão positivamente relacionadas às notas esperadas. Assim, quanto melhor a nota que o aluno espera receber, maior é a classificação que ele faz do professor, mostrando-se assim o efeito do pacto de leniência. Assim, os autores concluem que as notas afetam as avaliações dos alunos, sugerindo que o docente tem a possibilidade de “comprar” melhores avaliações dos alunos através da redução de seus padrões de qualificações.

Para Carrell e West (2010), os professores podem influenciar a ava- liação feita pelo discente ao aumentar sua nota, o que não demonstraria a verdadeira aprendizagem do aluno, sendo coerente com as ideias de recipro- cidade, leniência ou efeito de clemência citadas por Clayson (2009), Morais (2005) e Braga, Paccagnella e Pellizzari (2014). Os autores efetivaram um estudo de dez anos com 10.534 alunos da Academia da Força Aérea dos Estados Unidos, onde existe uma distribuição aleatória de alunos por professor. Todos os docentes ensinam o mesmo programa de estudo e aplicam as mesmas provas, dessa forma reduzindo a interferência da classificação. Os resultados mostram que existem diferenças entre o desempenho do aluno e a avaliação do professor. As notas dos alunos são positivamente correlaciona- das com a avaliação que eles fazem dos professores de cursos introdutórios, tanto na disciplina regular quanto nas optativas. Para os autores, um professor que ensina mais para a avaliação devido a sua experiência, pode ter melhor desempenho na avaliação docente, mas nem por isso ser um bom professor ou ser melhor que o professor que não ensina para as provas.

Braga, Paccagnella e Pellizzari (2014), em seu estudo desenvolvido numa universidade italiana, constataram que professores que avaliam os dis- centes com notas altas são também avaliados com notas altas. Os autores também identificaram que os melhores alunos, em termos de notas nas disciplinas, atribuíram as notas com maior variância nas avaliações dos professores, ou seja, a diferença entre as classificações que os professores receberam eram as maiores.

Como forma de amenizar o efeito do pacto de leniência, Benton e Cashin (2012) sugerem que sejam tomadas algumas medidas como a revisão do material utilizado pelo professor por colegas que entendam do assunto e a revisão dos resultados das provas e testes aplicados, de maneira a julgar os padrões do curso e os critérios de avaliação dos alunos adotados pelo pro- fessor. Os professores também podem ser avaliados de outras formas como a avaliação pelos pares, na qual os professores assistem às aulas uns dos outros para atribuir as notas avaliativas, ou mesmo através de investigações aprofun- dadas com os alunos, usando-as de forma comparativa com o encontrado na aplicação do questionário.

O pacto de leniência na relação entre nota do discente e avalia- ção do docente também está presente quando os alunos que não estudam, tiram notas baixas e fazem as piores avaliações dos docentes. Os alunos que não gostam de estudar, especialmente os menos capazes, avaliam o professor com base no quanto gostaram do curso e, assim, muitas vezes apresentam resultados de retaliação ao professor, avaliando-o com nota mais baixa, con- forme apresentado por Braga, Paccagnella e Pellizzari (2014).

Relação não significativa entre nota do aluno e avaliação docente pelo discente

Apesar de aceitarem uma correlação positiva entre a avaliação docente feita pelo discente e a nota do aluno, autores como Marsh e Roche (1994) acreditam que esta é muito pequena para ser significativa, não sendo, portanto, tão forte a influência das notas nas avaliações dos docentes. Os auto- res consideram ainda que as avaliações feitas pelos discentes não devem ser abandonadas devido a essa relação.

A conclusão de Benton e Cashin (2012) sobre a relação nota-avalia- ção foi no sentido de que não existe uma correlação conclusiva entre o índice GPA (Grade Point Average, índice utilizado para medir o desempenho acadêmico dos estudantes americanos) e uma melhor avaliação do docente. Mesmo assim, os autores defendem que o ensino de melhor qualidade afeta a real aprendizagem dos alunos e isso pode ser refletido em avaliação dos docentes melhores também.

Estudos como os de Johnson (2003) e Weinberg, Fleisher e Hashimoto (2009), apesar de considerarem uma relação entre as variáveis, admitem que essa relação pode não ser encontrada quando são utilizadas medidas mais objetivas de aprendizagem. As medidas advindas dos questionários de avaliação docente dos alunos e professores deixariam de ser subjetivas e, se fossem medidas diretas, a correlação tenderia a cair em intervalos não significativos.

Clayson (2009) relata que também não encontrou limitações aparen- tes nos achados de Johnson (2003) ou de Weinberg, Fleisher e Hashimoto (2009) sobre a relação não significativa entre as variáveis. Quanto mais obje- tivo e acurado é o processo de medição com inclusão de sofisticadas técnicas estatísticas, menor a associação entre nota do aluno e avaliação que ele faz do docente. Os objetivos dos instrumentos avaliatórios devem ser relacionados à aprendizagem e consistentes com as percepções dos alunos para serem válidos.

Ainda que as conclusões da maior parte dos autores citados apon- tem para uma relação entre desempenho acadêmico discente e a avaliação docente feita pelo aluno, alguns, notadamente de estudos mais antigos, apresentam uma linha de raciocínio inversa. Voeks e French (1960), citados por Moreira (1988), descobriram, por meio dos seus estudos nos departamentos da Universidade de Washington, que os professores com as melhores avalia- ções raramente atribuíam as melhores notas aos alunos, concluindo que os alunos não são influenciados pelo efeito da nota, mesmo quando avaliam traços particulares dos docentes, como a clareza na apresentação ou estímulo dado ao discente.

Rayder (1968), citado por Moreira (1986), por meio de um questionário com três questões, também verificou em sua pesquisa que a avaliação do professor feita pelo discente estava desvinculada do desempenho acadêmico do aluno, em função da relação negativa entre as variáveis, posição também defendida por Seiver (1983) e Decanio (1986), apresentados em Krautmann e Sander (1999).

Outras variáveis intervenientes da avaliação docente

Além da influência da nota do discente na avaliação que ele faz do docente, destacam-se outros fatores intervenientes dessa relação, como: tamanho das turmas, gênero do aluno e do professor, interação existente entre docente e discente, empenho dos estudantes com o estudo, interesse prévio pelo curso e disciplina, nível de escolaridade do docente, personalidade do professor e o momento da aplicação dos questionários.

As diferenças individuais dos alunos, como motivação, interesse anterior pela matéria e habilidade com o conteúdo afetam a avaliação feita pelos discentes sobre o docente no sentido de que alunos com interesse prévio pela disciplina tendem a avaliar melhor o professor, consoante Marsh e Roche (1994) e Marsh e Dunkin (1992).

Já o gênero surge tanto como não interveniente da relação nota--avaliação, como no trabalho de Krautmann e Sander (1999) e tanto como interveniente, conforme os trabalhos de Centra e Gaubatz (2000), Macnell, Driscoll e Hunt (2015), Boring (2014) e Boring, Otoboni e Stark (2016).

O gênero do estudante foi analisado por Centra e Gaubatz (2000). Por meio de uma pesquisa com 741 turmas e aplicação do questionário SIR-II, os autores concluíram que as professoras receberam pontuação mais elevada quando avaliadas pelas alunas. Já os professores não foram classificados de maneira diferente por alunos ou alunas. As dimensões em que houve diferença significativa entre a avaliação de gênero foram na Organização, Interação professor e aluno e Avaliações, Exames e Classificação. Os autores entendem que tal diferença deu-se pelos seguintes motivos: os alunos veem os professo- res como mais organizados e sistematizados, enquanto as alunas veem as professoras como mais interativas e que fornecem mais feedbacks sobre as avaliações. Os autores concluem que, embora as diferenças fossem estatisticamente significativas, elas poderiam ser geradas pelas diferenças de ensino entre os professores. As professoras tendem a usar métodos de ensino mais agradáveis para os alunos como, por exemplo, a discussão em vez da leitura.

Capelleras e Vergés (2001), em estudo com 811 alunos, identificaram que a diferença de gênero não é significativa quando o aluno avalia as atitu- des e comportamentos do professor. A diferença ocorre na avaliação de outras dimensões, como instalações e equipamentos, na qual o aluno do sexo masculino atribui maior importância. Sobre a dimensão Organização do curso, as alunas atribuem maior importância.

Benton e Cashin (2012) mostram os estudos de Feldman (1992) no qual, por meio de uma revisão em 14 estudos laboratoriais ou experimentais (onde os alunos classificaram descrições de professores fictícios que variaram em gênero), encontraram poucas diferenças de gênero nas classificações glo- bais. Entretanto, ao considerar a interação gênero do professor e gênero do aluno, Feldman (1993) descobriu que as alunas do sexo feminino tendiam a avaliar melhor os professores do sexo feminino, enquanto os estudantes do sexo masculino tendem a atribuir notas mais elevadas aos instrutores masculinos.

MacNell, Driscoll e Hunt (2015) apontaram um viés de gênero na avaliação docente, já que os alunos percebem, avaliam e tratam os instrutores do sexo feminino de forma diferente do que os instrutores do sexo masculino. Os autores sugerem que as professoras devem trabalhar mais para receber avaliações comparáveis com os professores do gênero masculino, sendo uma deficiência na classificação de ensino.

Boring (2014) encontrou um viés na avaliação docente pelo discente, oriundo da diferença de gênero e estereótipos. Os alunos do gênero masculino tendem a atribuir notas mais altas aos professores do mesmo gênero. Esses resultados sugerem que os alunos avaliam mais os professores com base no gênero do que com base na capacidade do professor.

Nesse mesmo sentido, Boring, Otoboni e Stark (2016) confirmam o viés do gênero na avaliação do ensino e concluem que a avaliação discente sobre o desempenho docente não deve ser utilizada para uso de decisão de contratação de pessoal. Em geral, os professores do gênero feminino são pio- res avaliados que os professores do gênero masculino. As análises separadas por gênero do aluno mostram que estudantes do sexo masculino tendem a dar maiores pontuações para os professores do sexo masculino. Os alunos do sexo masculino dão maiores notas e todas significativas para os professores do mesmo sexo nas disciplinas de História, Microeconomia, Macroeconomia, Ciência Política e Instituições Políticas. Na disciplina de Sociologia, as avalia- ções do professor são maiores no gênero masculino do que no feminino, mas o efeito não é estatisticamente significante. Esses autores apresentam que os instrutores masculinos receberam dos alunos de mesmo gênero avaliação mais elevada. Entretanto, as notas desses mesmos alunos, nas disciplinas lecionadas por professores do gênero masculino, eram piores do que as alunas do sexo feminino. A correlação entre o gênero feminino e avaliação do docente são, em sua maioria, não significativas estatisticamente e negativas: História, Instituições Políticas, Macroeconomia, Microeconomia e Sociologia. Somente a disciplina de Ciência Política é positiva, mas não significativa.

Sobre a interferência da idade na avaliação docente, Moreira (1988) identificou que a faixa etária influenciava no padrão de professor preferido, mas não necessariamente na avaliação do mesmo. Já Benton e Cashin (2012), apoiados em McKeachie (1979) e Centra (1979), relatam que a idade tem pouco efeito nas avaliações dos docentes feitas pelos estudantes.

Sobre a interferência do nível de escolaridade, Carrell e West (2010) identificaram, em sua meta-análise, que variáveis como nível de escolaridade do professor (graduado, especialista, mestre ou doutor) e experiências de ensino (anos de docência) provocam interferências na avaliação feita pelo discente. Assim, os professores com menos experiência e que não possuem doutorado são mais bem avaliados pelos alunos nos cursos regulares, mas piores avaliados em disciplinas optativas.

Sobre essa relação, Benton e Cashin (2012) descobriram que não existe correlação entre os anos de experiência do professor e avaliação docente pelo discente. No entanto, os autores mostram outros estudos como Feldman (1983), Renaud e Murray (1996) que relataram correlações negativas, isto é, os professores mais experientes recebem as classificações mais baixas.

O framework proposto de análise parte da relação avaliação-nota, tendo ênfase na avaliação. A partir daí, têm-se os resultados empíricos obtidos, tendo como base a significância da relação. Aqueles que argumentam pela positividade da relação o fazem a partir de posições distintas: real aprendizagem ou pacto de leniência/mediocridade. Aqueles que argumentam pela fraca relação defendem relações obtidas não significativas, sendo em alguns casos até negativa a relação. Por fim, adicionam-se alguns elementos variáveis que foram identificadas na literatura como relevantes para o entendimento da avaliação do docente. A figura 1 representa o framework proposto.


Figura 1
Framework de análise da relação avaliação-nota
Fonte: elaborado pelos autores

Considerações finais

Em face de todo o exposto, verifica-se que a relação entre a nota do aluno e a avaliação que ele faz do docente é ainda palco de controvérsias entre os autores. As pesquisas sugerem haver uma interferência da nota na avaliação docente, de forma que a correlação entre as variáveis é positiva, o que faz com que os alunos com notas melhores avaliem melhor os professores e o inverso, alunos com notas piores avaliem pior os professores. Entre esses autores, eles se dividem naqueles que acreditam que essa relação seja fruto de um pacto de leniência ou efeito de reciprocidade entre professor e aluno, e aqueles que acreditam que seja fruto de uma verdadeira efetividade do profes- sor, o que permite ao aluno a aprendizagem de maneira real.

Por outro lado, existem autores que argumentam pela não existência da influência da nota na avaliação docente, apresentando uma correlação positiva ou uma correlação negativa não significativa entre as variáveis.

Mesmo os que encontraram uma correlação positiva e significativa entre as duas variáveis, não desaprovam o uso desse tipo de avaliação, mas procuram explicar as razões da presença dessa correlação, baseando-se em outras variáveis que podem interferir na avaliação, como a habilidade do pro- fessor, o estímulo ao docente, ou empenho dos estudantes com o ensino que elevam as percepções do estudante.

As discussões têm apontado que em 60 anos de estudos sobre a associação entre a aprendizagem do aluno e a avaliação do docente pelo discente, mais importante do que saber se existe a relação nota-avaliação é buscar identificar quando ela ocorre, seguindo as ideias de Clayson (2009) e, a partir daí, tentar isolar seu efeito a fim de obter melhores avaliações dos docentes.

As diferenças nos achados sobre a associação entre a nota e avaliação não são apenas frutos de diferentes abordagens metodológicas, mas também representam a realidade de cada trabalho pesquisado, corroborando o pensamento de Clayson (2009). De fato, entende-se que o uso de aborda- gens metodológicas distintas e técnicas estatísticas mais avançadas podem ajudar na compreensão da relação avaliação-nota, principalmente no que se refere à significância da relação e, ainda de forma mais destacada, quando há e qual o efeito do pacto de leniência na avaliação do docente. Apenas com esses avanços, será possível garantir a validade da avaliação e, assim, usá-la para as devidas melhorias.

Material suplementario
Referências
ABRAMI, Philip; D’APOLLONIA, Sylvia. Curent concerns are past concern. American Psychologist, Washington, v. 54, n. 1, p. 519-520, jul. 1999.
BENTON, Stephen; CASHIN, Willian. Student ratings of teaching: a summary of the rese- arch and literature. IDEA paper n. 50. Manhattan, K. S: Kansas State University, Center for Faculty Evaluation and Development, 2012.
BENTON, Stephen; DUCHON, Dennis, PALLETT, Willian. Validity of student self-reported ratings of learning. Assessment & Evaluation in Higher Education, Kennesaw, v. 38, n. 4, p. 1-12, 2011.
BORING, Anne. Gender biases in student evaluations of teachers. OFCE.PRESAGE.SCIENCES PO and LEDa.DIAL, Paris, n. 13, p. 1-67, abr. 2014.
BORING, Anne; OTOBONI, Kellie; STARK, Philip. Student Evaluations of Teaching (Mostly) Do Not Measure Teaching Efectiveness. Science Open Research, Berkeley, p. 1-11, 2016.
BOUTH, Raimundo Nonato de Souza. Avaliação docente antidemocrática: influência na prática pedagógica. Espaço Pedagógico, Passo Fundo, v. 20, n. 2, p. 386-390, jul./dez. 2013.
BRAGA, Michela; PACCAGNELLA, Marco; PELLIZZARI, Michele. Evaluating students’ evalu- ations of professors. Economics of Education Review, Amsterdam, Elsevier, n. 41, p. 71-88, 2014. Disponível em: https://doi.org/10.1016/j.econedurev.2014.04.002. Acesso em: 01 jul. 2018.
BRASKAMP, Larry; BRANDERBURG, Dale; ORY, John. Evaluating teaching effectiveness: A pratical guide. Beverly Hills, CA: Sage, 1985.
CAPELLERAS, Joan Lluís; VERGÉS, José Veciana. Calidad de servicio em la Enseñanza Universitária: desarrollo y validación de uma escala de medida. Documento de Trabalho nº 2001/4. Barcelona: Universidade de Barcelona, Departamento de Economia, 2001.
CARRELL, Scott; WEST, James. Does Professor Quality Matter? Evidence from Random Assignment of Students to Professors. Journal of Political Economy, Chigaco, v. 118, n. 3, p. 409-432, 2010.
CARVALHO, Eleonora. Desempenho docente: o caso do Departamento de Eletrônica e Sistemas da Universidade Federal de Pernambuco. 1990. 123f. Dissertação (Mestrado em Administração) – Programa de Pós-Graduação em Administração, Universidade Federal de Santa Catarina, Santa Catarina, 1990.
CASHIN, Willian. Students do rate different academic fields differently. In: THEALL, Michael; FRANKLIN, Jennifer (Org.). New Directions For Teaching and Learning.Student ratings of Instruction: issues for improving practice. San Francisco: Jossey-Bass, 1995.
CENTRA, John. Determining faculty effectiveness. San Francisco: Jossey-Bass, 1979.
. Enhancing your teaching through use of the SIR II report: suggestions for improve- ment. Pricenton, NJ: Educational Testing Service, 2007.
CENTRA, John; GAUBATZ, Noreen. Is there Gender Bias in student evaluations of teaching? The Journal of Higher Education, Columbus, v. 71, n. 1, p. 17-33, jan./fev. 2000.
CLAYSON, Dennis. Student Evaluations of Teaching: Are They Related to What Students Learn? A Meta-Analysis and Review of the Literature. Journal of Marketing Education, Carolina do Norte, v. 31, n. 1, p. 16-30, abr. 2009.
COHEN, PETER. Student rating of instruction and student achievement: a metaanalysis of multisection validity studies. Review of Educational Research, Hanover, v. 3, p. 281-309, 1981.
DE BEM, Amiltom Barreto. Confiabilidade e validade estatísticas da avaliação docente pelo discente: proposta metodológica e estudo de caso. 2004. 296f. Tese (Doutorado em Engenharia de Produção) – Programa de Pós-graduação em Engenharia de Produção, Universidade Federal da Santa Catarina, Florianópolis, 2004.
DECANIO, Stephen. Student evaluations of teaching: a multinominal logit approach. The Journal of Economic Education, Philadelphia, v. 17, n. 3, p. 165-176, 1986.
DOYLE, Kenneth; WHITELY, Susan. Student Ratings as Criteria for Effective Teaching. American Educational Research Journal, Washington, v. 1, n. 3, p. 259-274, 1974.
FELDMAN, Kenneth. Seniority and experience of college teachers as related to evaluations they receive from students. Research in Higher Education, New York, v. 18, n. 1, p. 3-124, 1983.
. Instructional effectiveness of college teachers as judged by teachers themselves, current and former students, colleagues, administrators and external (neutral) observers. Research in Higher Education, New York, v. 30, n. 1, p. 137-194, 1989.
. College students’ views of male and female college teachers: part I-evidence from the social laboratory and experiments. Research in Higher Education, New York, v. 33, n. 1, p. 317-375, 1992.
. College students’ views of male and female college teachers: part II-evidence from students’ evaluations of their classroom teachers. Research in Higher Education, New York, v. 34, n. 1, p. 151- 211, 1993.
. Identifying exemplary teachers and teaching: evidence from student ratings. In: PERRY, Raymond ; SMART, John (Org.). Effective teaching in higher education: research and practice. New York: Agathon Press, 1997.
. Identifying exemplary teachers and teaching: Evidence from student ratings. In: PERRY, Raymond; SMART, John (Org.). The scholarship of teaching and learning in higher education: an evidence-based perspective. Dordrecht, The Netherlands: Springer, 2007.
GOMES, Cristiano Mauro Assis; BORGES, Oto. Limite da validade de um instrumento de avaliação docente. Avaliação Psicológica, Porto Alegre, v. 7, n. 3, p. 391-401, dez. 2008.
GRANZIN, Kent; PAINTER, John. A new explanation for student course evaluation tendencies. American Educational Research Journal, Washington, v. 10, n. 2, p. 115-124, 1973.
GREENWALD, Anthony. Validity concerns and usefulness of student ratings of instruction. American Psychologist, Washington, v. 52, n. 11, p. 1182-1186, 1997.
GREENWALD, Anthony; GILLMORE, Gerald. How useful are student ratings? Reactions to comments on the Current Issues Section. American Psychologist, Washington, v. 53, n. 11, p. 1228-1229, jul. 1998.
HOWARD, George; MAXWELL, Scott. The correlation between student satisfaction and gra- des: A case of mistaken causation? Journal of Educational Psychology, Washington, v. 72, n. 6, p. 810-820, 1980.
. Do grades contaminate student evaluations of instruction? Research in Higher Education, Ponte Vedra Beach, v. 16, p. 175-188, 1982.
JOHNSON, Valen. Grade inflation: A crisis in college education. New York: Springer- Verlag, 2003.
KRAUTMANN, Anthony; SANDER, William. Grades and student evaluations of teachers Department of Economics. Economics of Education Review, Chigago, n. 18, p. 59-63, 1999.
KULIK, James; McKEACHIE, Wilbert. The evaluation of teachers in higher education. Review of Research in Education, Washington, v. 3, n. 1, p. 210-240, 1975.
MACNELL, Lillian; DRISCOLL, Adam; HUNT, Andrea. What’s in a Name: Exposing Gender Bias in Student Ratings of Teaching. Innovative Higher Education, Tallahassee, v. 40, n. 4, p. 291-303, 2015.
MARSH, Herbert. Student’s evaluations of university teaching: dimensionality, reliability, vali- dity, potencial biases, and utility. Journal of Educational Psychology, Washington, v. 76, n. 5, p 707-754, 1984.
. Students’ evaluations of university teaching: dimensionality, reliability, validity, poten- tial biases and usefulness. In: PERRY, Raymond; SMART, John (Org.). The Scholarship of teaching and learning in higher education: an evidence-based perspective. Dordrecht, The Netherlands: Springer, 2007.
MARSH, Herberth; DUNKIN, Michael. Student’s evaluation of university teaching: A multidi- mensional perspective. In: PAULSEN, Michael. Higher education: handbook of theory and research. New York: Agathon, 1992.
MARSH, Herberth; ROCHE, Lawrence. The use of students evaluations of University Teaching to improve teaching effectiveness. Canberra: Department of Employment Education and Training, 1994.
. Effects of grading leniency and low workload on students’ evaluations of teaching: Popular myth, bias, validity, and innocent bystanders. Journal of Educational Psychology, Washington, v. 92, n. 1, p. 202-22, 2000.
MCKEACHIE, Wilbert. Student ratings of faculty: a reprise. Academe, Washington, v. 65, n. 6, p. 384-397, 1979.
MORAIS, Natércia Margarida da Conceição Ferreira. Percepção do ensino pelos alunos: proposta de instrumento de avaliação para ensino superior. Braga: Universidade do Minho, 2005, 150f. Dissertação (Mestrado em Psicologia) – Instituto de Educação e Psicologia, Universidade do Minho, Braga, 2005.
MOREIRA, Marco Aurélio. Avaliação do professor pelo aluno como instrumento de melhoria do ensino universitário. Educação e Seleção, São Paulo, v. 4, n. 119, p. 109-124, jul./ dez. 1981.
MOREIRA, Daniel Augusto. Avaliação do professor universitário pelo aluno: possibilidades e limitações. 1986. Tese (Doutorado em Educação) – Programa de Pós-Graduação em Educação, Universidade de São Paulo, São Paulo,1986.
. Fatores influentes na avaliação do professor pelo aluno: uma revisão. Educação e Seleção, Fundação Carlos Chagas, v. 17, p. 73-87, 1988.
PAIVA, Vera Lúcia Menezes de Oliveira; SADE, Liliane Assis. Avaliação, cognição e poder. Revista Brasileira de Linguística Aplicada, Belo Horizonte, v. 6, n. 2, p. 33-57, 2006.
PRIMI, Ricardo; MORAES, Ilmara Fátima. Validade de um instrumento de Avaliação de Desempenho de Docentes do Ensino Superior. Revista da Rede de Avaliação Institucional da Educação Superior, Sorocaba, v. 10, n. 3, set. 2005.
RAYDER, Nicholas F. College Student Ratings of lnstructors. The Journal of Experimental Education, Philadelphia, v. 37, n. 2, p. 76-81, 1968.
RENAUD, Robert; MURRAY, Harry Aging, personality, and teaching effectiveness in academic psychologists. Research in Higher Education, Ponte Vedra Beach, v. 37, n. 3, p.323-340, 1996.
ROTEM, Ariem; GLASMAN, Naftaly. On the effectiveness of students' evaluative feedback to university instructors. Review of Educational Research, Washington, v. 49, n. 1, p. 497- 511, 1979.
SANTORO, Bruno Faccini; YAMASHITA, André Shigueo; ASSENHAIMER, Cristhiane. Elaboração e análise de questionários de avaliação de disciplinas de pós-graduação em Engenharia de disciplinas de pós-graduação em Engenharia Química. In: CONGRESSO BRASILEIRO DE EDUCAÇÃO EM ENGENHARIA, 40; 2012, Belém. Anais… Belém: Universidade Federal do Ceará, 2012.
SEIVER, Daniel. Evaluations and grades: a simultaneous framework. The Journal of Economic Education, Philadelphia, v. 14, n. 3, p. 32-38, 1983.
TEJEDOR, Francisco Javier; MONTEIRO, Maria Lourdes. Indicadores de la calidad docente para la evaluacion del professor universitário. Revista Española de Pedagogia, Del Valle, v. 48, n. 186, p. 259-27, 1990.
VOEKS, Vírginia; FRENCH, Graça. Are student ratings of teachers affected by grades? Journal of Higher Education, Columbus, v. 31, n. 6, p 330-333, 1960.
WEINBERG, Bruce; FLEISHER, Belton; HASHIMOTO, Masanori. Evaluating methods for eva- luating instruction: the case of higher education. Journal of Economic Education, Philadelphia, v. 40, n. 3, p. 227-261, 2009.
Notas
Quadro 1
Quadro resumo da relação entre avaliação docen- te e desempenho acadêmico discente

Fonte: elaborado pelos autores

Figura 1
Framework de análise da relação avaliação-nota
Fonte: elaborado pelos autores
Buscar:
Contexto
Descargar
Todas
Imágenes
Visor de artículos científicos generados a partir de XML-JATS4R por Redalyc