Introdução

As políticas públicas podem ser entendidas como processos mais ou menos complexos, participados e articulados, que normalmente se traduzem em ações destinadas a resolver problemas dos cidadãos e das sociedades num determinado domínio (e.g., educação, saúde, segurança social, justiça). Nesses termos, a concepção e a concretização de qualquer política pública deverá estar sempre associada a um processo de avaliação. Na verdade, ainda que em regime não exclusivo, a avaliação de uma dada política pública é imprescindível para conhecer e compreender a qualidade dos programas que a materializam, podendo assim contribuir para a sua transformação e para a sua melhoria.

Num certo sentido, poder-se-á dizer que avaliação e políticas públicas são práticas e construções sociais cujo principal objetivo é contribuir para o desenvolvimento de bens públicos de qualidade, acessíveis a todos os cidadãos, em domínios tais como a educação, a saúde e a segurança social. Avaliação e Política Pública são domínios do conhecimento relativamente recentes e as suas relações são complexas.

A avaliação e a política pública não podem ser isoladas da diversidade de contextos em que se desenvolvem e, por isso mesmo, é preciso sempre considerar uma diversidade de atores e de instituições que, por meio do seu poder e dos seus interesses e valores, procuram influenciar o seu desenvolvimento e os seus resultados. Por esse tipo de razões e também pelo fato de a Avaliação e a Política Pública terem profundas raízes na moral e nos valores, dificilmente se poderia ignorar a Ética numa discussão em que se analisam relações entre aqueles dois processos (Simons, 2006; Morris, 2008).

O principal propósito deste artigo é contribuir para discernir e discutir relações entre Avaliação, Ética e Política Pública como forma de suscitar reflexões sobre questões teóricas e práticas inerentes a qualquer processo de avaliação. Além desta Introdução, o artigo foi organizado em mais quatro seções: (a) “Algumas considerações acerca do domínio da avaliação”, em que se sintetizam algumas ideias consideradas essenciais desse domínio do conhecimento; (b) “Ética na avaliação”, em que se discutem relações entre esses dois domínios com recurso a exemplos de algumas situações concretas; (c) “Política pública e avaliação”, na qual são analisadas algumas das relações mais evidentes entre esses dois processos; e (d) “Conclusão”, em que se sintetizam as ideias mais relevantes decorrentes da discussão desenvolvida em cada uma das seções anteriores.

Algumas considerações acerca do domínio da avaliação

As concepções de avaliação podem variar significativamente de autor para autor, pois estão inevitavelmente associadas às suas visões do mundo, aos valores e ideologias que perfilham e às “filosofias” em que se inspiram. Por isso mesmo, abunda na literatura uma variedade de conceitualizações e perspectivas de avaliação. Estas variam desde as que se apoiam em racionalidades do tipo empírico-racionalista – ou, se se quiser, em perspectivas que tendem a considerar que a avaliação é uma ciência exata e objetiva – até as que têm por base racionalidades interpretativas, críticas e/ou sociocríticas. Estas últimas tendem a percepcionar a avaliação como um domínio do conhecimento que não permite obter a verdade, porque os fenômenos sociais, por natureza, estão em interação aberta com uma grande diversidade de variáveis que dificultam muito a produção de generalizações suficientemente robustas para que possam dar origem a leis universais. Nestes últimos casos, assume-se que a avaliação é uma construção social e, ao assumir-se igualmente a sua natureza subjetiva, afasta-se a ideia de que se está perante uma ciência exata. Mas, apesar dessas diferentes perspectivas, às quais aqui se refere apenas de forma bastante genérica, a verdade é que a construção teórica das últimas décadas tem contribuído para o alargamento de alguns consensos no seio da comunidade científica em torno de questões essenciais da avaliação e das suas práticas.

Para o Joint Committee on Standards for Educational Evaluation (1994), cuja definição de avaliação é algo geral e, por isso, suscita um alargado consenso na comunidade, “a avaliação é a investigação sistemática do valor ou do mérito de um dado objeto” (p.3, tradução minha). Essa definição implica que se compreendam os conceitos de mérito, de natureza intrínseca, inerente ao próprio objeto; e de valor, de natureza extrínseca, atribuído por outrem a esse mesmo objeto. Esses conceitos podem ter interpretações mais próximas das perspectivas meritocráticas, do agrado dos defensores do chamado neoliberalismo ou, por outro lado, das perspectivas da melhoria e da qualidade, cujos adeptos se preocupam mais com o aprofundamento das democracias, no sentido de se eliminarem as desigualdades e as injustiças sociais que persistem nas sociedades contemporâneas.

Stufflebeam e Shinkfield (2007) enriqueceram a definição de avaliação do Joint Committee on Standards for Educational Evaluation (JCSEE), referindo que, na avaliação de qualquer objeto, devem igualmente ser considerados os seguintes critérios: (a) a probidade, que envolve questões éticas, de honestidade e integridade; (b) a exequibilidade ou viabilidade; (c) a segurança; (d) o significado (importância, visibilidade); e (e) a equidade. Por outro lado, para Stake (2006) e Stake e Schwandt (2006), avaliar é discernir qualidade, o que, naturalmente, leva a uma interessante discussão acerca do conceito de qualidade.

Seja qual for a perspectiva ou ênfase de cada avaliação, a verdade é que todos os esforços devem ser empreendidos para que ela seja desenvolvida com imparcialidade. Isso significa que os avaliadores têm de encontrar os procedimentos adequados para evitar que os seus sistemas de concepções e de valores, as suas ideologias e visões do mundo enviesem de forma mais ou menos grosseira as realidades. Simons (2006) refere mesmo que os avaliadores têm de desenvolver o seu trabalho com independência em relação às políticas públicas (policies) e às medidas que as materializam (e.g., programas, projetos). De acordo com aquela autora, é nesse contexto que podem surgir dilemas éticos e, assim acontecendo, compete aos avaliadores garantir que as avaliações sejam eticamente irrepreensíveis ou, pelo menos, defensáveis. Estas são condições indispensáveis para que qualquer avaliação ganhe credibilidade perante aqueles que, de algum modo, nela tenham algum interesse ou que por ela possam ser afetados (stakeholders). Para House (2000), a credibilidade, a plausibilidade e a utilidade social são conceitos-chave num domínio como o da avaliação, que não produz resultados certos, como supostamente acontece nas ciências ditas exatas. Por isso, tais conceitos são relevantes e não dispensam reflexões relativamente aos fundamentos morais, éticos e políticos da avaliação.

Qualquer avaliação deverá contribuir para que a qualidade dos objetos de interesse (e.g., política pública, programa) seja publicamente conhecida. É a partir do conhecimento e da compreensão sobre as realidades e fenômenos sociais que a avaliação pode e deve gerar, que as políticas públicas podem ser desenvolvidas de forma mais fundamentada e também mais discutida. Nesse sentido, como um dia referiu Ernest House, a avaliação acaba por ser um processo público de decisão e, tal como referiram Lee Cronbach e associados, o avaliador é uma espécie de cientista público que elabora a base empírica essencial que permite abrir caminho ao debate e à discussão pública e, consequentemente, a uma deliberação mais informada acerca dos juízos que se considera ser importante e/ou necessário formular (Cronbach et al., 1980; House, 1980).

A avaliação é uma prática e uma construção social que, normalmente, se desenvolve num dado contexto e num dado tempo, produzindo resultados e conclusões que não podem ser considerados definitivos. Porém, em geral, tais resultados têm a ver com a distribuição de poder, ou com questões de poder, assim como com a distribuição de recursos e oportunidades. Ou seja, em muitos casos, os processos de avaliação permitem recolher informações que fundamentam as escolhas que é necessário fazer. Isso significa que são tomadas decisões que, inevitavelmente, disponibilizam recursos para uns em detrimento de outros. Basta, por exemplo, pensar nos concursos nacionais e internacionais para o desenvolvimento de projetos de investigação lançados por agências financiadoras ou nos concursos para atribuição de bolsas de doutoramento ou pós-doutoramento. Nesse sentido, pode-se dizer que a avaliação é intrinsecamente política, porque também tem a ver com a distribuição dos recursos existentes que, normalmente, estão aquém do que se desejaria ou seria necessário. E, por isso, tendo como base os resultados a que chegou (e aqui, como se imagina, os critérios e as orientações podem não ser propriamente consensuais), a avaliação acaba sempre por determinar quem fica com o quê, que interesses ou grupos vão beneficiar dos recursos disponíveis, quem ganha e quem perde.

As dimensões valorativas, éticas e políticas da avaliação dificultam o seu reconhecimento como disciplina científica, embora os seus resultados e os processos e métodos que permitem obtê-los possam ser objeto de análise e de escrutínio com base em critérios normalmente utilizados em ciência. Mas aquelas dimensões não deverão significar que a avaliação fique à mercê dos valores pessoais dos avaliadores ou dos valores e interesses de quem paga, encomenda, ou patrocina a avaliação. Assim, a imparcialidade é um importante objetivo a alcançar, exigindo que os avaliadores não se alheiem do mundo em que vivem ou ignorem os interesses e valores envolvidos numa dada avaliação. Os avaliadores estão comprometidos com o que se passa à sua volta, e o seu trabalho tem repercussões na vida das pessoas e das organizações. Para garantir a imparcialidade numa avaliação, será necessário utilizar procedimentos que assegurem que todos os interesses relevantes e significativos possam ser tidos em conta em todas as fases do processo. Esse é, com certeza, um complexo desafio que tem a ver com a questão de, pelo menos, dar voz aos principais intervenientes (stakeholders). Mas é importante reafirmar que a credibilidade e a equidade numa avaliação não estarão automaticamente garantidas se o avaliador se abstrair dos valores, dos interesses, das ideologias ou de quaisquer outras dimensões de influência existentes nas sociedades. Ignorar essas realidades existentes em qualquer sociedade não é o mesmo que ter em conta os diferentes interesses em jogo.

Nessas condições, as avaliações deverão ser sempre processos independentes e imparciais a serviço dos cidadãos em geral e, em particular, de todos aqueles que estão mais diretamente interessados nos seus resultados ou que, de algum modo, possam ser afetados por eles (stakeholders). Isso significa que a divulgação de toda a informação disponível relativamente aos programas, projetos e/ou medidas de política de interesse público deve estar intrinsecamente associada a qualquer processo de avaliação. Consequentemente, há princípios éticos, tais como a justiça, a igualdade e o respeito pela verdade, que têm de ser levados em conta numa avaliação imparcial e independente. Isso significa que as práticas de avaliação têm de ter em conta questões sociais, políticas e éticas, bem como questões de participação e envolvimento dos intervenientes (stakeholders). Tal como referido por Patton (2000), é necessário ter em conta questões relacionadas com os utilizadores (quem são? Quais são os seus diferentes interesses? Quais são as suas necessidades?) e com a utilização que estes possam dar às avaliações.

A análise e a avaliação das realidades sociais exige um processo de recolha de informação que, para ser rigoroso, é invariavelmente complexo, difícil e diversificado. Por isso mesmo, a avaliação tem de ser pensada e posta em prática a partir de um sólido conjunto de princípios que lhe “confiram rigor, utilidade, significado e relevância social” (Fernandes, 2010, p.16). Tais princípios resultam da construção teórica que, sobretudo nas últimas cinco décadas, tem tido importantes desenvolvimentos, bem visíveis através da multiplicidade de abordagens de avaliação que têm sido conceitualizadas e propostas por uma diversidade de autores. Refira-se a título de exemplo que, num significativo esforço de síntese, Stufflebeam (2000) identificou 23 abordagens de avaliação e as organizou em quatro categorias: (a) Pseudoavaliações, que não têm validade ou credibilidade aceitáveis, como, por exemplo, o caso das avaliações politicamente controladas; (b) Quase-avaliações, que não respondem cabalmente às questões avaliativas, pois estão mais centradas nos métodos e na elaboração de questões (e.g., avaliações baseadas em objetivos; avaliações orientadas para os resultados ou avaliações do valor acrescentado; avaliações baseadas em estudos de caso; avaliações baseadas no método experimental); (c) Avaliações orientadas para a melhoria e/ou para a prestação de contas, cujo propósito é determinar o valor e/ou o mérito de um programa ou de qualquer objeto (e.g., avaliações orientadas para a decisão e para a responsabilização; avaliações orientadas para os consumidores); e (d) Avaliações orientadas por/para uma agenda social, que têm um pendor marcadamente político, pois a sua principal finalidade é envolver ativamente todos os que têm interesse nas avaliações, no sentido de conseguir transformar e melhorar as realidades sociais e a vida das pessoas e das instituições (e.g., avaliação deliberativa e democrática; avaliação orientada para a utilização e para os utilizadores; avaliação construtivista; avaliação respondente). Das 23 abordagens que estão distribuídas por essas categorias, nove foram consideradas por Stufflebeam como as abordagens de avaliação mais relevantes. Dessas nove, quatro são as que se incluem nesta última categoria, o que, de algum modo, sublinha a crescente relevância da visão da avaliação como um processo assumidamente social e político, que pode e deve contribuir para a melhoria da sociedade.

Além dessa arrumação proposta por Stufflebeam (2000), há propostas de outros autores, baseadas noutros pressupostos, em que se sublinha que as abordagens de avaliação traduzem desenvolvimentos teóricos que exigem o esforço de discernimento e de síntese que vem sendo realizado (Fernandes, 2010). Mas é importante que a teoria e a prática não sejam entendidas como conceitos dicotômicos e, por isso, reconhecer que considerar a prática uma mera concretização da teoria ou esta como uma inutilidade são visões que hoje estão ultrapassadas. As experiências das pessoas e as práticas devem ser consideradas como conceitos analíticos que permitem conhecer e compreender melhor a realidade e que, embora com limitações, contribuem para a construção de conhecimento e, consequentemente, para a construção teórica (Fernandes, 2010, 2013). Por isso, autores como Stake (2006) defendem que há claras vantagens na articulação entre abordagens de avaliação baseadas no pensamento criterial, mais próximas de uma racionalidade do tipo empírico-racionalista ou, se se quiser, da lógica da ciência, e abordagens que sublinham a relevância das práticas e das experiências pessoais dos intervenientes.

Interessa, nesta altura, destacar três ideias que parecem fundamentais: (a) há diferentes visões e perspectivas sobre as realidades que se pretende avaliar, não existindo verdades absolutas sobre elas; (b) é desejável que se explorem racionalidades alternativas ao lógico-positivismo e ao relativismo de algumas variantes do construtivismo, evitando assim visões redutoras e limitadas da realidade, decorrentes do pensamento dicotômico e das ortodoxias ontológicas, epistemológicas e metodológicas; e (c) é necessário desenvolver esforços de integração entre a miríade de abordagens de avaliação existentes na literatura e utilizá-las em função dos propósitos, das situações concretas e das questões do estudo a realizar, e não em função do que eventualmente se possa querer considerar uma boa abordagem de avaliação.

Ética na Avaliação

A ética está presente em todas as áreas de intervenção humana porque está intrinsecamente associada ao desenvolvimento das interações sociais e das relações pessoais e institucionais que se estabelecem entre as pessoas nas organizações, nas comunidades profissionais e, em geral, na sociedade. É através da ética que os cidadãos refletem acerca dos valores que adotam, do sentido das ações que põem em prática e dos processos que os levam a tomar decisões e a assumir responsabilidades nas sociedades em que vivem. Talvez por isso mesmo a grande maioria das associações e sociedades de natureza profissional e científica definiram códigos de ética em que sistematizam orientações e determinam, em termos gerais, o que é considerado certo e o que é considerado errado, o que é uma boa ou uma má prática, o que pode ser feito e o que é proibido fazer-se, o que é bom e o que é mau. Naturalmente, tais orientações, a partir das quais os profissionais membros de uma sociedade conduzem as suas ações, estão fortemente enraizadas no conjunto de normas e valores fundadores dessa mesma sociedade. Por isso, a ética tem sempre que estar associada a realidades sociais, culturais, políticas e econômicas concretas, porque certas práticas podem ser aceitáveis numa sociedade e não o ser numa outra.

Para Rios (2007), se a avaliação pode muitas vezes ser considerada como uma espécie de pedra no caminho para as instituições, a discussão das questões de natureza ética que lhe são inerentes vem acrescentar algumas dificuldades. Talvez, por isso mesmo, tal discussão não esteja nas prioridades dos diferentes intervenientes e, em geral, parece que será relativamente consensual afirmar-se que será mesmo tratada com algum desleixo ou votada ao puro e simples abandono – ou porque pode suscitar questões incômodas, ou porque muitas vezes as questões éticas são confundidas com questões metodológicas, filosóficas ou políticas. Apesar de tudo, é relevante promover a discussão das questões éticas que, em geral, são inerentes a qualquer processo de avaliação, porque é a ética que pode ajudar a compreender em que medida as ações avaliativas são consistentes com princípios que tenham em conta a defesa do bem público e a dignidade das pessoas (Rios, 2007).

Para Morris (2008), as questões éticas estão baseadas na responsabilidade moral e estão relacionadas com a distinção feita entre o que se considera ser o bem, o que está certo, e o que se considera ser o mal, que tem a ver com fazer o que está errado e que, por isso, merece a reprovação geral das pessoas e da sociedade. Esse autor considera que a ética pode estar associada a três significados que se relacionam entre si: (a) um conjunto de princípios básicos e fundamentais de comportamento moral que todos os seres humanos, numa dada sociedade, em princípio, deverão observar; (b) um conjunto de princípios que orientam a conduta dos membros de uma determinada profissão; e (c) uma sistematização das concepções, crenças e comportamentos das pessoas que têm relevância para a moral.

Marcondes (2014), um pouco na mesma linha de Morris, também definiu três perspectivas segundo as quais se pode discutir a ética ou, se se quiser, as questões éticas: (a) um conjunto de princípios que define os costumes, os hábitos e as práticas das pessoas numa sociedade e que determina de forma mais ou menos explícita, mais ou menos formal, como é que as pessoas devem se comportar nessa mesma sociedade; (b) um sistema normativo e prescritivo que estabelece um conjunto de valores e deveres que podem ser bastante gerais (e.g., ética cristã) ou mais concretos e específicos (e.g., código de ética de uma sociedade científica, código de ética de uma ordem profissional) e que, no fundo, prescrevem como as pessoas devem se comportar na sociedade; e (c) uma reflexão de natureza filosófica sobre as teorias e concepções inerentes à ética, discutindo os conceitos e valores que a fundamentam e que determinam a sua natureza. Trata-se, nas palavras de Marcondes (2014), de “[...] uma reflexão sobre a ética, seus fundamentos e pressupostos, diferente da formulação de uma ética determinada” (p.10).

Os dilemas com que os avaliadores se confrontam no decorrer de uma avaliação são, invariavelmente, de natureza ética, obrigando, por isso mesmo, a uma reflexão profunda e crítica que permita lidar, por exemplo, com situações de conflito de interesses, de falta de transparência e de enviesamento dos critérios definidos.

De acordo com Cunha (1996), a distinção entre ética e moral é relevante para muitos autores, tendo em conta sobretudo os pontos de vista filosófico, teológico e pedagógico. Assim, para esse autor, “[...] a tendência consiste em considerar a ética como exprimindo os princípios universais mais abstratos, a visão, enquanto a moral se refere às normas concretas, muitas vezes até expressas em códigos” (p.18).

Para Baptista (2011, p.10), “a ética precede, fundamenta e engloba a moral” e, por isso, “a afirmação do primado da reflexividade ética explica-se a partir desta premissa”. Para esta autora, a ética tem a ver com a “aspiração universal a fazer bem e cada vez melhor” e “[...] representa o Outro da moral, a sua fonte de alteridade e de interpelação permanente. A ética distingue-se assim da moral, ao mesmo tempo que a exige e que a interpela”.

A ética nas diferentes fases de uma avaliação

Para uma diversidade de autores (Kirkhart, 2008; Mark, 2008; Morris, 2008), podem surgir, e normalmente surgem, questões de natureza ética em cada uma das fases em que uma avaliação se desenvolve. Desde a fase do chamado contrato ou adjudicação do estudo, passando pelas fases do planejamento e da metodologia, da recolha, análise e interpretação dos dados, até a sua divulgação e utilização, aqueles autores enumeram e discutem uma grande variedade de questões éticas com que os avaliadores são invariavelmente confrontados. Não cabendo no âmbito deste trabalho fazer uma descrição exaustiva de todas as situações, discutir-se-ão apenas questões relacionadas com a Fase do Contrato e a Fase do Planejamento e Metodologia, tal como enunciadas na literatura (Kirkhardt, 2008; Morris, 2008 ; Fitzpatrick et al., 2009).

A Fase do Contrato pode suscitar questões éticas resultantes de ações concretas desenvolvidas por quem contrata ou encomenda o estudo de avaliação. Um dos problemas mais comuns é a ausência de uma definição clara do que realmente se pretende avaliar, criando assim condições para que, numa fase posterior, possam surgir problemas de várias ordens, principalmente a eliminação de resultados, conclusões ou recomendações, baseada em argumentos de que não era aquilo que se pretendia avaliar. Por vezes também surgem os chamados conflitos de interesses que podem assumir diferentes naturezas. Um deles, por exemplo, pode ter a ver com o fato de um grupo de investigadores/ professores/avaliadores serem convidados a conceber e desenvolver um determinado programa por uma dada entidade e, mais tarde, o mesmo grupo ser chamado para fazer a avaliação do referido programa. Outra situação de conflito de interesses está muitas vezes relacionada com o fato de a pessoa que coordena a avaliação de uma dada unidade de investigação ser, por exemplo, seu conselheiro ou ter uma relação de grande proximidade com essa mesma unidade. Finalmente, é comum acontecer que um ou mais grupos de intervenientes relevantes num dado programa ou instituição que venha a ser objeto de avaliação, seja(m) eliminado(s) propositadamente como participantes. Kirkhardt (2008), ao analisar uma situação concreta desse tipo, referiu que a omissão de um grupo importante não só colocava uma questão de sub-representação de intervenientes relevantes, omitindo as suas perspectivas e a sua cultura, como também questionava a validade da avaliação. Há, assim, interações entre aspectos éticos e metodológicos, porque a omissão das perspectivas de intervenientes fundamentais interfere com a natureza das questões de avaliação e com a natureza fundamental do próprio objeto de avaliação.

Na Fase do Planejamento e Metodologia são normalmente sinalizadas na literatura acima referida dois tipos de questões éticas. Umas estão mais relacionadas com as pressões que podem ser exercidas para influenciar e/ou enviesar o plano metodológico da avaliação, e outras com as questões de participação e envolvimento dos principais intervenientes no que quer que seja que está sendo avaliado. Obviamente, o planejamento de uma avaliação não é uma mera questão técnica. Trata-se de um processo complexo, que envolve decisões de natureza epistemológica e ontológica, assim como decisões de natureza política, financeira, técnica, logística e ética (Guba; Lincoln, 1994).

O problema ético mais comum nessa fase surge quando intervenientes interessados nos resultados da avaliação pressionam os avaliadores para que estes utilizem uma abordagem metodológica que é claramente inadequada. E aqui, muitas das vezes, o problema prende-se à omissão da análise de certas dimensões do objeto a avaliar ou à omissão da participação de intervenientes relevantes. Nesse último caso, Morris (2008) refere que, se determinados intervenientes são eliminados na Fase do Contrato, então dificilmente integrarão o grupo de participantes do estudo. Assim, um avaliador que valoriza a participação dos diferentes intervenientes está confrontado com um problema ético e político.

Mark (2008), por outro lado, ao discutir as questões éticas que se podem revelar no âmbito do planejamento e da metodologia, refere que pode haver a possibilidade de os avaliadores definirem procedimentos e metodologias, para avaliar um dado programa, que acabam por evidenciar relações e efeitos que nada têm a ver com as intenções do programa. Esse autor chama então a atenção para as consequências indesejáveis, do ponto de vista ético, quando um estudo de avaliação avalia resultados para os quais o programa não estava orientado, sem qualquer teoria plausível que evidenciasse que tais resultados podiam ser afetados pelo dito programa e sem que os principais intervenientes os tivessem identificado como uma sua consequência deliberada e desejada. O que, no fundo, Mark pretende sublinhar é a ideia de que os avaliadores podem ter a tendência para ir além do que lhes é pedido e do que são as reais intenções do programa. No caso de se verificar que o programa não afetou determinados aspectos que não eram de início considerados critérios plausíveis para avaliar o seu impacto, podem surgir situações incômodas do ponto de vista ético, que consistem em ter que se decidir se é ou não legítimo suprimir do relatório de avaliação os dados assim obtidos. Em suma, a reflexão de Mark vai no sentido de alertar os avaliadores para não sobrecarregarem os estudos com uma panóplia excessiva de métodos e procedimentos que, muitas vezes, os levam a ver coisas que, na realidade, nem os objetivos do programa nem os seus autores e intervenientes tinham a mínima intenção de afetar e/ou influenciar.

A ética nas Associações Profissionais e nas Sociedades Científicas de Avaliação

A avaliação desenvolveu-se significativamente nas últimas décadas e, muito particularmente, a partir dos anos 1960, na sequência do lançamento do sputnick pela União Soviética em 1957. Esse fato, em plena guerra fria, levou o chamado mundo ocidental, com os Estados Unidos na liderança, a promover esforços e investimentos nunca antes vistos para melhorar os currículos de todos os níveis de ensino. As políticas públicas de então, concretizadas mediante programas e projetos educacionais, eram obrigatoriamente avaliadas e, por isso mesmo, a avaliação como domínio profissional e como domínio do conhecimento teve um forte incremento nessa altura. Por isso, George Madaus e Daniel Stufflebeam, no seu esboço histórico sobre a evolução da avaliação de programas, designaram o período compreendido entre 1958 e 1972 como a Idade do Desenvolvimento e a que se lhe seguiu de imediato, entre 1973 e 1983, como a Idade da Profissionalização (Madaus; Stufflebeam, 2000).

Assim, a partir dos anos 1960, foram criadas Sociedades Científicas e Associações Profissionais, um pouco por todo o mundo, agregando acadêmicos e profissionais que desenvolviam os seus esforços profissionais e de investigação no domínio da avaliação (e.g., African Evaluation Association, American Evaluation Association, German Evaluation Society, Societé Canadienne d’Évaluation). Porém, o desenvolvimento de orientações éticas no âmbito dessas organizações foi gradual e, na maioria dos casos, ocorreu nos últimos vinte anos. Apenas o Joint Committee on Standards for Educational Evaluation, em 1981, e a Evaluation Research Society, em 1982, produziram princípios a observar na avaliação de programas (Joint Committee on Standards for Educational Evaluation, 1994; Simons, 2006). O JCSEE produziu, em 1981, o primeiro conjunto de princípios a observar na avaliação de programas em que as questões éticas foram claramente expressas por meio dos designados Propriety Standards, aqui livremente traduzido por Normas Relativas à Adequação Ética. Esses Standards foram profundamente revistos em 1994 e constituíram então o mais extensivo e exaustivo guia de orientações/princípios a observar no desenvolvimento de estudos de avaliação, contemplando normas e princípios para a prática (e.g., rigor, exequibilidade, adequação ética).

Na sequência dessas iniciativas, a grande maioria das organizações similares em todo o mundo desenvolveu as suas próprias orientações, normas, princípios e/ou códigos para apoiar a prática da ética nas avaliações desenvolvidas pelos seus membros. De modo geral, aquelas orientações são de natureza prescritiva e configuram uma ética normativa para que os avaliadores possam seguir um determinado tipo de comportamento na concepção, desenvolvimento e divulgação dos resultados das avaliações. Nos casos como o JCSEE foram definidas normas ou standards no sentido de procurar assegurar a qualidade das avaliações. Noutros casos, as organizações optaram por definir posições de princípio mais gerais que pudessem orientar o desenvolvimento das avaliações, acompanhadas de orientações para colocá-las em prática (e.g., Australasian Evaluation Society, Canadian Evaluation Society). Outras sociedades produziram códigos mais estritos e reguladores, supostamente para proteger os avaliadores e o bem público. A grande maioria das sociedades e associações analisadas utiliza o termo guidelines, aqui livremente traduzido para orientações. Porém, parece importante distinguir entre, de um lado, standards, normas ou códigos, geralmente mais detalhados e específicos e de natureza prescritiva, para tentar obter um comportamento modelar, e, de outro lado, princípios que são mais gerais por natureza, ainda que muitas vezes normativos, visando ao desenvolvimento de boas práticas.

Verificou-se que os standards definidos pelo JCSEE em 1981 e depois aprofundados em 1994 foram sempre uma importante referência para a maioria das sociedades e associações, parecendo haver uma certa tendência para a universalização dos princípios e standards definidos. Note-se que, mais recentemente, o JCSEE patrocinou a elaboração de uma nova e renovada versão dos referidos standards (Yarbrough et al., 2011). Apesar dessa tendência, a European Evaluation Society não impôs aos seus membros a adoção de orientações comuns, sugerindo-lhes que definissem os seus próprios princípios e/ou standards de acordo com as realidades e contextos de cada país. Tal como refere Simons (2006), a definição e a adoção de normas e princípios não têm sido fáceis, por razões tais como: (a) a complexidade dos domínios da ética e da avaliação; (b) a dificuldade em conciliar orientações que vão no sentido de promover boas práticas com a imposição de sanções; (c) a dificuldade em fazer cumprir as orientações, pois, em muitos casos, não se sabe muito bem quem poderá fazê-lo; (d) a falta de consenso acerca do que são comportamentos e práticas adequadas no domínio da ética; e (e) os constrangimentos impostos por quem financia/ encomenda as avaliações, definindo as questões e as metodologias e restringindo os relatórios e a sua divulgação.

A título de exemplo, apresentam-se a seguir os Princípios Orientadores para Avaliadores (Guiding Principles for Evaluators) definidos pela American Evaluation Association (AEA) e, ainda, os Standards definidos pelo JCSEE por serem aqueles que são reconhecidos como tendo uma significativa influência nos que foram definidos pela esmagadora maioria das organizações congêneres de todo o mundo (Simons, 2006; Morris, 2008). A American Evaluation Association definiu cinco princípios que se deverão aplicar a qualquer tipo de avaliação, cada um dos quais, no essencial, consiste numa proposição geral que é complementada por uma descrição mais pormenorizada que discute o significado e a aplicação do princípio. O leitor interessado numa análise detalhada de todos os elementos pode consultar o site da AEA <http://www.eval.org/p/cm/ld/fid=51> ou o Apêndice A em Morris (2008). Os cinco princípios, aqui traduzidos livremente, são os seguintes:

1. 1. ) Inquérito Sistemático: os avaliadores desenvolvem investigações sistemáticas e baseadas em dados reais.
2. 2. ) Competência: os avaliadores providenciam um desempenho competente a todos os que, de algum modo, estão interessados nos resultados da avaliação ou podem ser afetados por ela (stakeholders).
3. 3. ) Integridade/honestidade: os avaliadores têm um comportamento honesto e íntegro e procuram garantir a honestidade e integridade de todo o processo de avaliação.
4. 4. ) Respeito pelas pessoas: Os avaliadores respeitam a segurança, a dignidade e a autoestima dos respondentes, dos participantes do programa, dos clientes e de outros intervenientes interessados (stakeholders) na avaliação.
5. 5. ) Responsabilidades pelo bem-estar geral e público: os avaliadores articulam e têm em conta a diversidade de interesses e valores gerais e públicos que possam estar relacionados com a avaliação de um dado programa.

Como se pode constatar, são princípios bastante gerais, sendo notório que a não observação de qualquer deles pode questionar seriamente a conduta ética do avaliador e pôr em causa a credibilidade da avaliação. Repare-se que cada um deles abrange domínios fundamentais e muito relevantes para o desenvolvimento de uma avaliação, tais como as questões metodológicas (Inquérito Sistemático), as questões relacionadas com a formação, os conhecimentos, as capacidades e a cultura do avaliador (Competência), bem como as questões da transparência de todos os processos utilizados, que devem ser claros para todos os intervenientes e interessados no processo de avaliação (Integridade/Honestidade).

Yarbrough et al. (2011), sob a supervisão geral do JCSEE, desenvolveram a terceira edição dos Program Evaluation Standards, definindo um conjunto de trinta standards ou normas, organizados em cinco grandes categorias ou princípios gerais (tradução livre):

1. 1. ) Normas para a utilidade: incluem oito normas ou standards para garantir que a avaliação vai ao encontro das necessidades de informação dos utilizadores. Num certo sentido é necessário assegurar, por meio da observação dessas normas, que as avaliações sejam úteis para quem, de algum modo, vai necessitar utilizá-las.
2. 2. ) Normas para a exequibilidade/viabilidade: incluem quatro normas ou standards que se destinam a garantir que a avaliação possa se concretizar e cumprir os objetivos para os quais foi concebida. Por isso ela deve ser “realista, prudente, diplomática e frugal”.
3. 3. ) Normas para a adequação ética: incluem sete normas ou standards que permitem que as avaliações sejam desenvolvidas de forma ética, legal e respaldada no respeito pela dignidade e pelo bem-estar de todos os envolvidos no processo e por todos os que podem ser afetados pelos seus resultados.
4. 4. ) Normas para o rigor: incluem oito normas ou standards que garantem o rigor dos procedimentos metodológicos e técnicos utilizados, de forma a permitir formular juízos adequados acerca do valor ou do mérito de um dado programa.
5. 5. ) Normas para a responsabilização (prestação de contas) da avaliação: incluem três normas ou standards para garantir que as avaliações sejam bem fundamentadas e documentadas e, por meio de uma perspectiva meta-avaliativa, assegurar a melhoria e a responsabilização pela qualidade dos processos e produtos obtidos.

Os trinta standards do JCSEE, que se distribuem por essas cinco categorias, acabam por constituir os fundamentos para a prática de uma avaliação que observa as orientações e princípios éticos recorrentemente referidos na literatura (House, 1980, 2000; Simons, 2006; Morris, 2008). Talvez por isso mesmo continuem a ser uma referência relevante para a grande maioria das Sociedades e Associações de Avaliação um pouco por todo o mundo.

Para uma diversidade de autores (Mabry, 1999; Morris, 2003, 2008; Simons, 2006), as orientações, princípios, normas, standards ou códigos destinados a garantir que a ética e as suas questões estejam presentes nas avaliações, não estão isentos de limitações e de problemas. Para uns, eles limitam bastante a liberdade dos avaliadores e dos investigadores, ao mesmo tempo que são construídas para defendê-los, ignorando aqueles que são objeto de avaliação. Para outros, as preocupações estão mais centradas em dimensões da avaliação tais como a metodologia, a utilidade e a qualidade, e menos nas questões éticas propriamente ditas. Além disso, a análise das orientações das diferentes associações e sociedades mostra que as orientações tendem a ser bastante defensivas, focando-se mais nos procedimentos a utilizar para evitar que se cometam erros, sem proporcionar orientações positivas para promover avaliações bem feitas. Desse modo, promove-se pouco a prática ética na avaliação. Finalmente, as orientações têm óbvias dificuldades em apreender a complexidade da realidade social e em prever tudo o que de inesperado e imprevisível pode surgir nas práticas de avaliação. Para uma análise detalhada de todos os standards, pode-se consultar o site do JCSEE <http://www.jcsee.org/programevaluation-standards-statements> que, no entanto, não contém todos os elementos. Uma análise mais aprofundada só pode ser realizada mediante consulta do livro da responsabilidade de Yarbrough et al. (2011).

Política Pública e Avaliação

Como já foi referido, as avaliações ocorrem sempre em contextos que não são separáveis das questões políticas e sociais e, nessas circunstâncias, haverá sempre intervenientes mais ou menos envolvidos no processo que, inevitavelmente, acabam por induzir as relações entre a avaliação e a política. As pessoas não estão separadas dos seus valores, dos seus sistemas de concepções, das suas visões do mundo e dos seus interesses mais ou menos específicos. Consequentemente, quando, de algum modo, o que está em causa é a distribuição de recursos ou a disputa por eles, as pessoas mobilizam todos os argumentos ao seu alcance para procurar persuadir quem quer que tenha o poder de decisão, da bondade e da justeza das suas ideias e perspectivas e dos benefícios que elas trarão para o bem público.

É nessa perspectiva que vários autores afirmam que as avaliações são processos de persuasão utilizados pelos diversos intervenientes, com base na argumentação e na fundamentação que está ao seu alcance, para disputarem poder ou distribuição de bens (House; Howe, 1999; House, 2000; Greene, 2006). Na clássica definição de Lasswell (1936), a política tem precisamente a ver com questões tais como: Quem fica com o quê? Quando? e Como? Assim, talvez não faça muito sentido afirmar que a avaliação é desvirtuada se, de algum modo, a política fizer parte do seu desenvolvimento, porque, inevitavelmente, a política estará sempre presente. E, nessas condições, é necessário ter uma visão ampla e abrangente do que significa fazer política.

Vestman e Conner (2006) referem que a relutância de muitos autores em reconhecer a existência de relações entre a avaliação e a política pode ter origem na visão muito negativa que, em geral, nas sociedades contemporâneas, os cidadãos têm dos políticos e da política. Para esses autores, são muito poucos os cidadãos que, de modo geral, veem a política como uma atividade humana fundamental para o desenvolvimento das sociedades e, por isso, para a organização da vida social e para a construção do bem público. Se é certo que a política envolve conflito – pacífico, entenda-se –, também é certo que ela envolve consenso e, nessa medida, pode ser considerada um processo construtivo para melhorar a vida das pessoas por meio da geração de soluções alcançáveis através de compromissos que decorrem da discussão, do debate e do diálogo.

Como já se referiu, as relações entre a avaliação e a política são inevitáveis, porque, no fundo, ambas têm a ver com a distribuição de bens, normalmente escassos, e com o exercício do poder para distribuí-los. Quando se pensa nas quatro fases da lógica clássica da avaliação – Definir Critérios, Identificar Standards, Selecionar uma Medida, Decidir Quanto ao Mérito e/ou Valor do Objeto –, facilmente se conclui que a Definição de Critérios é crucial, pois é através deles, ou tendo-os em conta, que se decide o valor e/ou o mérito do objeto sob avaliação. Por isso ela implica sempre uma disputa de poderes entre diferentes visões, perspectivas e políticas. De igual modo, a essência da política tem muito a ver com a disputa e o exercício do poder, em que, sistematicamente, é necessário formular juízos acerca de uma variedade de medidas ou objetos em geral para que se possam tomar decisões acerca dessas mesmas medidas ou objetos. Consequentemente, e tal como dizem Cronbach et al. (1980), a avaliação é necessariamente uma atividade política, porque, através dos juízos que emite sobre as realidades, influencia a formulação e a decisão políticas.

Para Weiss (1973, 1991), as relações entre a avaliação e a política podem ser entendidas como resultantes das seguintes caraterísticas da avaliação: (a) os objetos com que a avaliação trabalha (e.g., programas, projetos) resultam, em geral, de medidas de política que, por sua vez, decorrem de decisões políticas; (b) uma vez que a avaliação está muito associada aos processos de tomada de decisão, os relatórios produzidos e, particularmente, as suas recomendações, entram invariavelmente na discussão política; e (c) a avaliação tem uma natureza política que é inevitável, porque, ao avaliar um programa ou qualquer medida de política, não pode deixar de fazer afirmações que têm mais ou menos conteúdo político e, por isso, são consideradas proposições políticas.

Vestman e Conner (2006) sintetizaram quatro visões ou perspectivas da política: (a) a política estritamente associada à arte de governar e, por isso, matéria de especialistas; (b) a política como processo de tomada de decisões através do qual se define um plano de ação para a comunidade; (c) a política como negócio público ou como coisa pública e, nesse sentido, como processo eminentemente ético, por meio do qual se procura construir uma sociedade mais justa; e (d) a política como processo que está presente em todas as atividades sociais e em todas as dimensões, públicas e privadas, da vida dos seres humanos.

Em termos gerais poder-se-á dizer que às duas primeiras visões corresponderá uma avaliação a serviço de uma decisão que, no essencial, se inspira em racionalidades de pendor mais técnico e empírico-racionalista. Já no caso das duas últimas perspectivas a avaliação é assumidamente política, e os avaliadores desempenham um papel político.

A partir desta brevíssima síntese de perspectivas acerca da política e tendo em conta as ideias acima discutidas acerca do domínio da avaliação (House, 2000; Stake, 2004, 2006) é possível discernir, ainda de acordo com Vestman e Conner (2006), três relações possíveis entre a avaliação e a política.

Numa primeira perspectiva, considera-se que a avaliação é neutra e, como tal, deve ser mantida estritamente separada da política, quer em termos práticos, quer mesmo em termos conceituais. Essa visão é consistente com a ideia de que, sendo a política a arte de governar, então a avaliação tem necessariamente que ser um processo objetivo e neutro, e os avaliadores deverão manter-se distanciados, neutros, objetivos, não contaminando nem se deixando contaminar pelas realidades sociais. Têm a missão de providenciar informação rigorosa baseada em evidências empíricas inquestionáveis. A formulação de juízos avaliativos baseados nessa informação está além do controle dos avaliadores.

Numa outra perspectiva, considera-se que a avaliação ocorre sempre num ambiente político e, nessa medida, não fará sentido separá-la integralmente da política, principalmente no que concerne à formulação de juízos que determinam a qualidade ou o valor e/ou o mérito de um determinado objeto. Mas o processo de produção de informação pode e deve manter-se afastado da política e/ou dos interesses políticos. Nessas condições, os avaliadores são profissionais especializados que poderão assumir uma de duas posições acerca das relações entre avaliação e política.

Para aqueles que consideram a política como a arte de governar, a relação entre a avaliação e a política é uma mera questão técnica. Nesse caso, está-se numa perspectiva de mercado em que a avaliação se limita a medir a qualidade e a eficiência dos programas, das medidas de política, das decisões, contribuindo assim para que os cidadãos, os consumidores, façam as suas escolhas racionais, substituindo a política, que é vista como um processo de resolução de problemas. A avaliação é um processo eminentemente técnico, que deve assegurar a qualidade e medir o desempenho das políticas por meio de critérios e indicadores que permitem verificar se as metas foram ou não alcançadas. Dir-se-ia que, nessa perspectiva, a avaliação se reduz praticamente a uma questão de conceção e administração de instrumentos cientificamente construídos e à análise dos seus resultados. A avaliação é utilizada como um instrumento de gestão que contribui para reforçar os sistemas de controle e de prestação de contas, influenciando e orientando as escolhas dos cidadãos-consumidores. São ideias consistentes com as que são protagonizadas pelos teóricos do chamado New Public Management.

Para aqueles que consideram que a política é uma coisa pública ou um negócio público, a avaliação pode ser um poderoso processo de transformação e de democratização da sociedade. Nessa perspectiva, e tal como refere Greene (2006), baseando-se no incontornável trabalho de MacDonald (1976), a avaliação é entendida como uma atividade política e, como tal, interfere e influencia a vida e a política pública. Assim, os avaliadores trabalham e vivem no mundo das políticas educacionais e exercem real influência sobre as relações de poder aí existentes, empenhando-se na defesa do interesse público e reconhecendo que a pluralidade de valores deve estar a serviço do direito dos cidadãos à informação e ao conhecimento sobre a coisa pública. Logo, os avaliadores, além das suas funções técnicas, têm de assegurar que as questões éticas e os valores democráticos estão presentes nos processos avaliativos. Trata-se de uma perspectiva empenhada na melhoria e transformação da sociedade com base em valores próprios da democracia social, consistentes com os que fundamentam as abordagens de avaliação orientadas por uma Agenda Social e cujos principais protagonistas têm sido Guba e Lincoln (1989), Patton (2000), House e Howe (2003) e Stake (2003). Consequentemente, nessa visão, não se pode separar a avaliação da política, porque aquela ocorre sempre num contexto político. Contudo, a avaliação não está integrada na política porque deve gerar e difundir informação credível. Isto é, informação que seja relevante, significativa e imparcial, que decorra de uma efetiva participação dos intervenientes e interessados no processo de avaliação. Mas, como dizem House e Howe (2000), Greene (2006) e Vestman e Conner (2006), tal não impede que a avaliação esteja comprometida política e socialmente, porque tem uma agenda orientada para a melhoria e para a democratização da sociedade.

Finalmente, quando o entendimento da política é o de que ela está presente em todos os sectores da vida social, pública e mesmo privada, fazendo parte do dia a dia das atividades de cada cidadão, considera-se que não há separação possível com a avaliação. Os avaliadores, nesse entendimento, nunca são considerados neutros, quer na recolha de informação, quer ainda na formulação de juízos acerca do valor e/ou do mérito de qualquer objeto, pois os valores que sustentam são inseparáveis dos fatos e das descrições feitas sobre eles. Além disso, os seus pontos de vista éticos e morais são explicitados e tornados claros no decorrer do processo de avaliação. A ideia marcante dessa perspectiva é a de que a avaliação deve ter um papel mais destacado nas mudanças e melhorias políticas e sociais. Porém, para Vestman e Conner (2006), a diferença entre essa perspectiva e a perspectiva anteriormente discutida da avaliação democrática não é muito clara, residindo essencialmente na relevância relativa dos valores na transformação da sociedade.

Conclusão

Tendo em conta a complexidade das questões abordadas e as diferenças de entendimentos acerca delas que foi possível identificar na literatura, parece importante refletir sobre as relações entre a avaliação, a ética e a política pública a partir de perspectivas abrangentes e amplas sobre cada um desses processos.

A avaliação é um processo sistemático de recolha de informação, que pode e deve ser criativo e inovador, cujo propósito principal é ajudar a conhecer e a compreender as pessoas, as instituições e, em última análise, a sociedade. Trata-se de uma prática e de uma construção social que analisa outras práticas sociais para que se possa caracterizá-las e, desse modo, melhorá-las. A discussão mostrou que a teoria e a prática têm um papel determinante no desenvolvimento da avaliação, influenciando naturalmente as decisões dos avaliadores. Mas, como acima se discutiu, a ação destes também é influenciada por questões de natureza política e ética.

Verificou-se que quer a avaliação, quer a política em geral e a política pública em particular, têm a ver com a distribuição de recursos e com a distribuição de poder, no sentido de determinar quem é que fica com o quê, quando e como. Nesse sentido, as questões éticas são incontornáveis e imprescindíveis quando se pensa, por exemplo, nos procedimentos avaliativos a utilizar para que aquela distribuição de recursos e de poder respeite valores democráticos, tais como a justiça, a liberdade, a integridade, o respeito, a lealdade, a responsabilidade, a equidade e o bem público.

As questões políticas conduzem igualmente para a elaboração de reflexões críticas sobre esses valores e, nessas circunstâncias, não podem, obviamente, deixar de estabelecer relações entre a política, a política pública e a ética. Repare-se que, na política, tal como na ética, é necessário tomar posições e decisões que, invariavelmente, têm a ver com a identificação do que está certo ou errado ou com o discernimento entre o bem e o mal. Por isso, a política é um processo intrinsecamente humano e, assim sendo, não pode deixar de estar enraizada em valores e em princípios morais e éticos.

A avaliação democrática, tal como foi preconizada por MacDonald (1976) e pelos autores das abordagens de avaliação orientadas por/para uma Agenda Social (House; Howe, 2003; Stake, 2003, 2006), cujos fundamentos são partilhados com as perspectivas daquele autor, oferecem um amplo e promissor conjunto de visões acerca das práticas de avaliação mais baseadas em valores democráticos e com claras preocupações éticas e políticas. Trata-se eventualmente do exemplo que melhor evidencia que assumir claramente as relações entre a avaliação, a ética e a política pública pode ser um importante contributo para transformar e melhorar as realidades sociais, tornando a sociedade mais justa e solidária.

Finalmente, podem ser sistematizadas algumas das ideias mais fundamentais que decorreram da discussão aqui apresentada:

1. 1. ) A avaliação, tal como a política, tem a ver com a distribuição de poder ou com questões de poder e com a distribuição de recursos e oportunidades.
2. 2. ) Para ser credível, a avaliação tem de ser imparcial, um valor fundamental em qualquer processo de natureza avaliativa, mas tal não significa que os avaliadores se alheiem do mundo em que vivem ou que ignorem os valores e/ou interesses inerentes a uma avaliação.
3. 3. ) A avaliação não pode ignorar um conjunto de princípios éticos que lhe conferem relevância política e social, tais como a justiça, a autonomia, a integridade, a lealdade, a equidade e o respeito pela verdade.
4. 4. ) As múltiplas abordagens de avaliação constituem um corpus conceitual e teórico que confere solidez aos processos de avaliação e que constitui um referencial fundamental para relacionar as questões avaliativas com as questões éticas e políticas.
5. 5. ) Em cada uma das diferentes fases de desenvolvimento de uma avaliação, surgem, inevitavelmente, questões de natureza ética que não podem ser ignoradas e que têm de ser dirimidas no contexto das reflexões feitas acerca das relações entre avaliação, ética e política pública.
6. 6. ) O diálogo e a discussão entre avaliadores e com avaliadores, patrocinadores, clientes e participantes, pode ser uma das formas de dirimir os dilemas éticos. Os painéis de revisores, de conselheiros e as redes de avaliadores estão entre as estratégias que têm contribuído para melhorar as práticas éticas.
7. 7. ) As associações profissionais e sociedades científicas que atuam no domínio da avaliação têm definido orientações, princípios e códigos que, de algum modo, garantam a realização de avaliações eticamente irrepreensíveis. Os standards do Joint Committee on Standards for Educational Evaluation constituem um dos fundamentos mais relevantes em termos internacionais para que a ética esteja efetivamente associada às práticas de avaliação. O mesmo se verifica com os princípios, orientações, códigos ou normas da maioria das associações e sociedades.
8. 8. ) As relações da avaliação com a política pública estão dependentes das diferentes conceptualizações que forem consideradas relativamente a cada uma delas. A discussão parece ter evidenciado que é importante aprofundar as relações entre ambas quando se considera que a política pública tem a ver com a coisa pública e com o bem-estar dos cidadãos em sociedades democráticas com reais preocupações sociais.

Provavelmente, aponta Kushner (2000), só quando se está no terreno, espaço em que se negociam relações e significados, com o pleno conhecimento de todos os fatores relevantes do contexto social e político específico e dos princípios éticos que orientaram as ações tomadas, pode-se saber se se agiu adequadamente do ponto de vista ético. Porém, as reflexões teóricas são um contributo que parece ser indispensável para que as relações entre a avaliação, a política pública e a ética possam ser mais transparentes e, consequentemente, para que a avaliação possa, cada vez mais, ser um poderoso processo a serviço da melhoria e transformação das pessoas, das instituições e das sociedades. Assim, talvez seja possível vir a ter políticas públicas mais éticas, mais orientadas para o bem público e para a construção de uma democracia empenhada nas questões sociais e no bem-estar responsável dos cidadãos.

Referências

Baptista, I. Ética, deontologia e avaliação do desempenho docente. Lisboa: Ministério da Educação, 2011.

Cronbach, L. et al. Toward reform of program evaluation: Aims, methods and institutional arrangements. San Francisco: Jossey-Bass, 1980.

Cunha, P. D’ O. Ética e educação. Lisboa: Universidade Católica Portuguesa, 1996.

Fernandes, D. Acerca da articulação de perspectivas e da construção teórica em avaliação educacional. In: Esteban, M. T.; Afonso, A. J. (Org.). Olhares e interfaces: reflexões críticas sobre a avaliação. São Paulo: Cortez, 2010. p.15-44.

Fernandes, D. Avaliação em educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Revista Ensaio. Avaliação e Políticas Públicas em Educação, v.21, n.78, p.11-34, 2013.

Fitzpatrick, J.; Christie, C.; Mark, M. Evaluation in action: Interviews with expert evaluators. London: Sage, 2009.

Greene, J. Evaluation, democracy, and social change. In: Shaw, I.; Greene, J.; Mark, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006. p.118-140.

Guba, E.; Lincoln, Y. Competing paradigms in qualitative research. In: Denzin, N.; Lincoln, Y. (Ed.). Handbook of qualitative research. London: Sage, 1994. p.105-117.

Guba, E.; Lincoln, Y. Fourth generation evaluation. Newbury Park: Sage, 1989.

House, E. Evaluación, ética y poder. 3. ed. Madrid: Morata, 2000.

House, E. Evaluating with validity. London: Sage, 1980.

House, E., Howe, K. Deliberative democratic evaluation. In: Kellaghan, T.; Stufflebeam, D. (Ed.). International handbook of educational evaluation. Norwell: Kluwer, 2003. p.79-102.

House, E.; Howe, K. Values in evaluation and social research. London: Sage, 1999.

Joint Committee on Standards for Educational Evaluation. The program evaluation standards: How to assess evaluations of educational programs. 2nd ed. Thousand Oaks: Sage, 1994.

Kirkhart, K. Consumers, culture, and validity. In: Morris, M. (Ed.). Evaluation ethics for best practice: Cases and commentaries. New York: The Guilford Press, 2008. p.33-49.

Lasswell, H. Politics: Who gets what, when, how. New York: McGraw-Hill, 1936.

Mabry, L. Circumstancial ethics. American Journal of Evaluation, v.20, p.199-212, 1999.

MacDonald, B. Evaluation and the controlo f education. In: Tawney, D. (Ed.). Curriculum evaluation today: Trends and implications. London: MacMillan, 1976. p.125-136.

Madaus, G.; Stufflebeam, D. Program evaluation: A historical overview. In: Stufflebeam, D.; Madaus, G.; Kellaghan T. (Ed.). Evaluation models: Viewpoints on educational and human services evaluation. 2nd ed. Norwell: Kluwer; 2000. p.3-18.

Marcondes, D. Textos básicos de ética: de Platão a Foucault. 6th ed. Rio de Janeiro: Zahar, 2014.

Mark, M. Everybody talks about the weather... In: Morris, M. (Ed.). Evaluation ethics for best practice: Cases and commentaries. New York: The Guilford Press, 2008. p.61-71.

Morris, M. (Ed.). Evaluation ethics for best practice: Cases and commentaries. New York: The Guilford Press, 2008.

Morris, M. Ethical considerations in evaluation. In: Kellaghan, T.; Stufflebeam, D. (Ed.). International handbook of educational evaluation. Norwell: Kluwer, 2003. p.303-328.

Patton, M. Utilization-focused evaluation. In: Stufflebeam, D.; Madaus, G.; Kellaghan, T. (Ed.). Evaluation models: Viewpoints on educational and human services evaluation. 2nd ed. Norwell: Kluwer, 2000. p.223-244.

Rios, T. Ética e competência. São Paulo: Cortez, 2007.

Simons, H. Ethics in evaluation. In: Shaw, I.; Greene, J.; Mark, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006. p. 243-265.

Stake, R. Evaluación comprensiva y evaluación basada em estándares. Barcelona: Graó, 2006.

Stake, R. Advocay in evaluation: A necessary evil? In: Chelimsky, E.; Shadish, W. (Ed.). Evaluation for de 21st century: A handbook. London: Sage, 2004. p.470-476.

Stake, R. Responsive evaluation. In: Kellaghan, T.; Stufflebeam, D. (Ed.). International handbook of educational evaluation. Norwell: Kluwer, 2003. p.63-68

Stake, R.; Schwandt, T. On discerning quality in evaluation. In: Shaw, I.; Greene, J.; Mark, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006. p. 404-418.

Stufflebeam, D. Foundation models for 21st century program evaluation. In: Stufflebeam, D.; Madaus, G.; Kellaghan T. (Ed.). Evaluation models: Viewpoints on educational and human services evaluation. 2nd ed. Norwell: Kluwer, 2000. p.33-83.

Sufflebeam, D.; Shinkfield, A. Evaluation theory, models and applications. 2nd ed. San Francisco: Jossey Bass, 2007.

Vestman, O.; Conner, R. The relationship between evaluation and politics. In: Shaw, I.; Greene, J.; Mark, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006. p.225-242.

Yarbrough, D.B. et al. The program evaluation standards: A guide for evaluators and evaluation users. 3th ed. Thousand Oaks: Sage, 2011.

Weiss, C. Evaluation research in the political context: Sixteen years and four administrations later. In: McLaughlin, M.W.; Phillips D.C. (Ed.). Evaluation and education: At quarter century. Chicago: The University Press, 1991. p.210-231.

Weiss, C. Where politics and evaluation research meet. Evaluation, v.1, p.37-45, 1973.

Notas