1 INTRODUÇÃO

Em meados dos anos 1930, o campo de estudo das políticas públicas surge nos Estados Unidos e na Europa respaldado pelo pressuposto de que, em democracias estáveis, aquilo que o governo faz ou deixa de fazer é passível de ser formulado cientificamente e analisado por pesquisadores independentes (SOUZA, 2006).

O desenvolvimento constante desse campo de estudo insere-se, contudo, no contexto de modernização da gestão pública, buscando impulsionar melhorias na eficiência do gasto público, na qualidade da gestão e no controle social, em vista da efetividade da intervenção do poder público (FARAH, 2016), tendo como “questão de fundo” as concepções rivais dos projetos políticos democratizante e neoliberal (DAGNINO, 2004), que imprimem suas marcas nas decisões tomadas, nos caminhos de implementação traçados e nos modelos de avaliação aplicados no processo da intervenção governamental escolhida, principalmente no que tange às políticas sociais (HÖFLING, 2001). Sendo assim, entende-se que toda política pública é um mecanismo de mudança social que envolve contradições, porque são respostas às pressões de diferentes sujeitos com interesses diversificados (SILVA, 2008).

Nascida como uma subárea da ciência política, o estudo das políticas públicas pretendia responder especificamente a como e a por que os governos agem, e, por isso, por muito tempo a formação da agenda, primeira etapa no ciclo da política pública, recebeu mais atenção dos pesquisadores (SOUZA, 2006). O novo gerencialismo público, emergente nos anos de 1980, porém, fez com que a ênfase se deslocasse para as etapas de implementação e de avaliação de políticas públicas, à medida que a lógica da eficiência orientava a necessidade de gerenciar a alocação de recursos para a produção mais próxima dos resultados e impactos esperados a partir daquela intervenção estatal (SECCHI, 2017).

A avaliação de políticas públicas constitui-se processo de julgamento e valoração das atividades de um programa ou política, que pode tanto ser útil na tomada de decisão governamental como também no controle social, beneficiando a sociedade de maneira ampla, apesar das informações resultantes das avalições serem subutilizadas, conforme destacam Trevisan e Van Bellen (2008), gerando um certo “desencanto” de avaliadores e gestores públicos, conforme salientou Jannuzzi (2019).

Insere-se nesse âmbito, então, a importância da avaliação de política pública como atividade estratégica para o aperfeiçoamento da gestão pública e, consequentemente, a pertinência do uso de procedimentos metodológicos cuidadosos, à medida que avaliações superficiais e míopes podem levar a conclusões equivocadas e enviesadas.

Este artigo é uma extensão da tese de doutorado em políticas públicas apresentada ao Programa de Pós-Graduação em Políticas Públicas da Universidade Federal do Piauí, que avaliou a implementação da Política Estadual de Fomento à Economia Solidária no estado do Piauí. Trata-se de um ensaio que tem como objetivo explicar os porquês de a avaliação de políticas públicas estar se consolidando numa área de interesse da investigação científica e discutir os aspectos que devem ser priorizados nas avalições de implementação de políticas públicas a partir de uma revisão interdisciplinar e contextualizada de literatura relevante sobre a temática em pauta.

O artigo está organizado em três seções, para além desta breve introdução e da conclusão, em que se discute, em primeiro lugar, o contexto e os desafios na avaliação de políticas públicas no Brasil; em segundo lugar, as diretrizes para avaliação da implementação de políticas públicas; e, em terceiro e último lugar, propõe um checklist de avaliação de implementação da Política Pública de Economia Solidária.

2 CONTEXTO E DESAFIOS NA AVALIAÇÃO DE POLÍTICAS PÚBLICAS NO BRASIL

Para Ramos e Schabbach (2012, p. 1272), a avaliação de política pública consiste no “exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso, que contemple seu desempenho, implementação e resultado, tendo em vista a determinação de sua eficiência, efetividade, impacto, sustentabilidade e relevância dos seus objetivos”. Nesse conceito, a sistematização e a neutralidade aparecem como elementos centrais numa avaliação de política pública.

Contudo, Arretche (2001) destaca que no processo de julgamento de uma política ou programa público está presente sempre uma certa concepção de justiça, seja explícita ou implicitamente, o que, por seu turno, implicaria reconhecer que uma avaliação de política pública não é um processo inteiramente neutro, na medida que está envolto numa complexa teia de interesses políticos. Conforme análise de Boullosa et al. (2021, p. 1),

A avaliação em políticas públicas no Brasil vem, pretensamente, criando um campo de saberes e práticas científicas e profissionais, que é multifacetado em termos dos seus objetivos e interesses, plural quanto aos distintos atores que o compõem – avaliadores(as), demandantes, financiadores(as), avaliados(as) – e disperso quanto às suas finalidades e aplicações

Entende-se que a própria natureza do objeto de estudo do campo das políticas públicas dificulta a absoluta objetividade/neutralidade no processo avaliativo, considerando o conhecido dilema das ciências sociais aplicadas na relação entre objeto e sujeito cognoscente. A avaliação de uma política pública pode ter finalidade distinta, conforme os atores envolvidos no processo.

Na perspectiva da administração pública gerencial, a avaliação de política pública concentra-se exclusivamente nos critérios de eficiência do gasto público, mais precisamente no aspecto de economicidade da relação insumos/produtos. Desse modo, na avaliação da política pública, perde-se de vista o critério de efetividade “em termos de cobertura de públicos, equidade de seu desenho e que revele outros impactos mais abrangentes como contribuição para sustentabilidade ambiental, respeito à diversidade identitária-cultural etc” (JANNUZZI, 2019, p. 70).

A fim de superar a lógica exclusivamente gerencial dos estudos no campo da avaliação de políticas públicas, cujo ponto de partida é o método, desprezando a intencionalidade do processo, “é preciso ampliar as concepções e compreensões, e não as circunscrever à lógica de manuais que podem induzir à falácia da neutralidade e interferir nos juízos de valor em relação às alternativas para o enfrentamento dos problemas públicos” (BOULLOSA et al., 2021, p. 2).

Acrescentam Boullosa et al. (2021, p. 4):

[...] pode-se compreender a avaliação como algo mais processual e construtivista, não tão ordenado, que busca criar juízos de valor de modo argumentado em torno destes objetos a partir de pesquisas que tragam evidências quantitativas e qualitativas, gerando aprendizagens para dar suporte à decisão, às mudanças de rumo, à legitimação etc.

A avaliação de uma política pública deve, portanto, ensejar inovações nos métodos que permitam o levantamento de informações de qualidade para os que planejam e implementam as políticas públicas em tempo hábil de auxiliar alterações nos instrumentos de implementação, caso seja necessário, a fim de garantir maior efetividade nos resultados e impactos sociais almejados e para os quais a política foi desenhada.

Tanto no interior das organizações públicas (como fase do ciclo da política pública) como também no campo das discussões acadêmicas, as avaliações “servem para superar debates simplistas e maniqueístas (bom versus ruim), em que a avaliação de desempenho da política pública é vitimada pela retórica política” (SECCHI, 2017, p. 66).

De acordo com Boullosa et al. (2021), a avaliação de políticas públicas consiste em um processo crítico, reflexivo, dinâmico e multifacetado, empreendido por uma diversidade de atores com interesses e ideologias distintas, buscando a análise do desenho, da implementação ou dos resultados de uma política pública, programa ou projeto. Dessa forma, deve influenciar dinâmicas sobre a ação pública, ao passo que fornece evidências relevantes sobre um conjunto de atores e de elementos que estão a eles vinculados.

Nessa perspectiva, avaliar também está associado à ideia de criar e de problematizar padrões de referência, analisar argumentos e compreender valores implicados nas políticas públicas em que sínteses ou juízos avaliativos são, em sua natureza, um tipo de argumento que expressa e legitima o conhecimento avaliativo (BOULLOSA et al., 2021).

Uma importante demarcação conceitual refere-se à necessidade de distinguir a avaliação de política pública da avaliação política. Nesse ponto, Figueredo e Figueredo (1986) explicam que a segunda consiste na elucidação do critério ou critérios que fundamentam determinada política, ou seja, as razões que a tornam preferível à outra, enquanto a primeira se dá a partir do estabelecimento das conexões lógicas entre objetivos, critérios e modelos analíticos, a fim de averiguar o sucesso ou fracasso de uma ação pública. Por conseguinte, avaliação política seria uma etapa preliminar de uma avaliação de política.

Na relação entre avaliação de política pública e análise de política pública, esta última equivale ao exame da engenharia institucional e dos traços constitutivos de uma determinada política ou programa, buscando reconstruir as diversas formas de interação entre setor público e privado, os mecanismos de financiamento e as modalidades de prestação de serviços, e isso difere do objetivo da avaliação de política pública, que é o de expressar uma relação de causalidade entre objetivos e efeitos de uma dada política. Assim,

[...] ainda que a análise de uma dada política pública possa atribuir a um determinado desenho institucional resultados prováveis, somente a avaliação dessa política poderá atribuir uma relação de causalidade entre um programa x e um resultado y (ARRETCHE, 1998, p. 2).

Outra distinção salutar apresentada por Jannuzzi (2011) diz respeito à avaliação enquanto etapa do ciclo de política pública realizada após a etapa de implementação, pelos próprios agentes implementadores da política, e as atividades de monitoramento e avaliação, que podem ser aplicadas em qualquer momento do ciclo pelos implementadores da política ou por meio de pesquisa acadêmica orientada pelo rigor metodológico e capacidade inovativa dos seus investigadores.

A avaliação de processos, também denominada de avaliação de implementação, refere-se à análise da eficácia por meio da qual o investigador “avalia a relação entre os instrumentos previstos para implementação de uma política e aqueles efetivamente empregados” (MARTELLI; COELHO, 2021, p. 625). Nesse sentido, a avaliação de processos comporta a análise da eficácia e da eficiência, mas não julga a dimensão da efetividade, pois esta é particular da avaliação de impacto, uma vez que está diretamente relacionada à verificação das mudanças pretendidas nas condições sociais daqueles beneficiados por uma determinada política pública.

No debate acadêmico, as tipologias de avaliação de políticas públicas são diversas, sem, contudo, mostrarem-se excludentes, na medida em que consideram critérios variados para a construção tipológica. As mais comuns são as que enfocam o timing da avaliação (momento de realização), o agente avaliador, a natureza da avaliação e o tipo de problema a ser avaliado.

Com relação ao timing da avaliação, Trevisan e Van Bellen (2008) e Ramos e Schabbach (2012) reconhecem a avaliação ex ante, realizada antes do começo de um programa, com a finalidade de dar suporte à decisão de implementá-lo ou não, e analisar o custo-benefício do mesmo; e a avaliação ex post, realizada após a execução de programa, a fim de averiguar os resultados alcançados. Trevisan e Van Bellen (2008) ainda comentam a avaliação do tipo intermediária, cujo objetivo é dar suporte à gestão, à implementação e ao desenvolvimento do programa.

De acordo com Trevisan e Van Bellen (2008), as avaliações intermediárias são formativas, pois nutrem de informações o processo de implementação da política; já as avaliações ex post são somativas, pois visam a revelar os processos e impactos da política. Ramos e Schabbach (2012), a seu turno, não categorizam a avaliação intermediária; apenas a ex ante e a ex post, salientando a necessidade de combinar os dois tipos de análises.

Sobre o agente avaliador, é possível demarcar, segundo Ramos e Schabbach (2012), quatro situações de avaliação: a externa, a interna, a mista e a participativa. A avaliação externa caracteriza-se pela presença de avaliadores especialistas de fora da instituição responsável pelo programa, enquanto a avaliação interna equivale ao oposto desta primeira. A avaliação mista, no caso, é aquela na qual são combinadas as avaliações externa e interna. Já a avaliação participativa acontece quando beneficiários da política são convidados a se envolver nas etapas de planejamento, execução e avaliação.

Em todo caso, porém, o principal desafio da avaliação de políticas públicas, conforme destacam Trevisan e Van Bellen (2008), é lidar com a “parcialidade” comum neste tipo de estudo. Desse modo, mecanismos que permitam tornar os resultados mais transparentes, a partir da descrição detalhada dos recursos metodológicos, tornam-se o melhor caminho para garantir a veracidade dos julgamentos realizados.

Por último, no que concerne às tipologias de avaliação de políticas públicas está a questão do tipo de problema que a avaliação responde. Para Ramos e Schabbach (2012), existem três modalidades de avaliação quanto a esse critério: de processo, de resultado, de impacto. A primeira pretende identificar as dificuldades que ocorrem durante a implementação do programa, e, além disso, permite aferir a adequação entre meios e fins. A segunda busca apresentar os efeitos e as consequências da política/programa sobre a situação-problema geradora do próprio. A terceira, por seu lado, é a mais complexa, porque procura verificar um nexo causal entre os resultados de implantação do programa e as alterações nas condições sociais da população beneficiária.

Em análise anterior, Figueredo e Figueredo (1986) classificam as avaliações de políticas públicas em dois grandes grupos, apenas: a avaliação de processos, que ocorre concomitante à implementação e visa à monitoração dos processos responsáveis pelos efeitos esperados; e a avaliação de impacto, que procura estabelecer uma relação de causalidade entre política/programa e mudanças nas condições sociais da população-alvo. Dessa forma, o modelo analítico de aferição do sucesso/fracasso de uma política ou programa deverá operacionalizar um alinhamento entre propósitos da política, os objetivos da avaliação, o tipo de pesquisa empregado e o critério de sucesso preestabelecido.

Ainda segundo Figueredo e Figueredo (1986), no campo da avaliação de processos, a pesquisa avaliativa pode dar ênfase às metas ou aos resultados, aos meios ou à metodologia de implantação ou, ainda, à relação custo-benefício. Já no que concerne ao campo da avaliação de impacto, a pesquisa avaliativa fundamenta-se em modelos analíticos causais, reconhecendo a mudança economicamente sustentável e ideológica ou culturalmente viável, de sorte que os impactos podem ser objetivos (mudanças quantitativas), subjetivos (mudanças no “estado de espírito”) e substantivos (mudanças nas condições de vida).

Apesar da contribuição original e pioneira de Figueredo e Figueredo (1986) na construção de tipologias de avaliação de políticas públicas, entende-se que as modalidades apresentadas por Ramos e Schabbach (2012) – de processo, de resultado, de impacto – são as mais empregadas nas pesquisas avaliativas do atual contexto, e por isso recebem maior ênfase ao longo deste texto.

Uma avaliação de processo compreende quatro elementos básicos: primeiro, a conceitualização teórica do programa; segundo, os aspectos da implementação; terceiro, os mecanismos de impacto do programa avaliado; e, por último, o contexto no qual o programa é operacionalizado. Por meio de uma avaliação de processo é possível informar todo o processo pelo qual um programa passa e confirmar a existência e disponibilidade de elementos físicos e estruturais para a efetivação do programa; descrever atividades específicas do programa (o quanto da entrega, para quem, quando e por quem) e monitorar a frequência de participação da população-alvo, utilizando-se dessa informação para confirmar a frequência e o alcance da implementação do programa selecionado (ABDALA, 2018).

Invariavelmente, como analisado por Arretche (2001), para se avaliar satisfatoriamente uma política pública, deve-se partir da premissa de que há sempre uma distância entre formulação e implementação, à medida que as políticas públicas expressam decisões e preferências de uma autoridade central e são implementadas por agentes que não participaram do processo de formulação. Além disso, a própria formulação é uma etapa intensa de negociações entre atores políticos diversos. Considerando esse aspecto, aos que avaliam uma política ou programa caberá investigar o grau de autonomia decisória dos implementadores.

Jannuzzi (2011) esclarece que as pesquisas de avaliação seguem diferentes delineamentos metodológicos, tais como: análises documentais comparativas, de recursões técnicas de avaliação econômica, análises institucionais típicas da ciência política; revisão de documentos usados durante a formulação do programa e técnicas de coletas de informações utilizadas na pesquisa social.

Sobre a pesquisa avaliativa no cenário brasileiro atual, de acordo com Ramos e Schabbach (2012), é a Constituição de 1988 que influencia maiores esforços em torno das atividades de monitoramento e avaliação das políticas e programas sociais, estabelecendo as bases de um sistema integrado de planejamento e orçamento, por meio dos Planos Plurianuais (PPAs) e das Diretrizes Orçamentárias. Para Farah (2016, p. 959),

A análise de políticas públicas ocorre no país [Brasil] desde a década de 1930, mas sem ser acompanhada pela institucionalização de um campo científico. A expansão da produção e de cursos sobre política pública a partir dos anos 2000 mudou este quadro, conduzindo à institucionalização do “campo de públicas”, no qual a orientação para políticas públicas – a policy analysis – ocupa um lugar central.

Jannuzzi (2011), no entanto, afirma que são muitas as dificuldades no campo das avaliações de políticas e programas sociais. Essas dificuldades são em grande parte consequência da insuficiente formação no que diz respeito ao domínio de conceitos e técnicas de monitoramento e avaliação por boa parte dos gestores, e, nesses termos, tende a reproduzir avaliações padronizadas, sem o devido alinhamento metodológico necessário.

São nos centros de pesquisa e nas universidades que parte significativa da avaliação de programas públicos tem sido realizada. Entretanto os estudos por eles produzidos carecem de conhecimento multidisciplinar. Jannuzzi (2019) caracteriza os estudos avaliativos no Brasil como inconclusos, inoportunos e irrelevantes, uma vez que frequentemente padecem de baixo poder de generalização, possuem problemas de reconhecimento das questões sociais, dificuldades no desenho das intervenções, desconhecimento sobre o estágio de avaliabilidade e prematuridade nas encomendas de tais estudos.

Diante da complexidade operacional, dos contextos de implementação e da diversidade de públicos-alvo dos programas públicos no Brasil, Jannuzzi (2011) sugere que se faça uso do pluralismo metodológico, valendo-se de enfoques avaliativos mistos, da triangulação de abordagens investigativas, respaldando-se no princípio de complementaridade das técnicas.

3 DIRETRIZES PARA AVALIAÇÃO DA IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS

A etapa de implementação de uma política pública engloba todas as atividades que permitirão a política acontecer, materializando-a. É a etapa mais abrangente e mais complexa do processo de política pública, pois depende da formação de consensos sobre aspectos centrais entre diferentes sujeitos sociais e racionalidades diversas (SILVA, 2008).

De maneira geral, a análise da política pública antecede a avaliação da política. Para Lotta (2019, p. 14), a análise de implementação “se propõe, portanto, a abrir a caixa preta dos processos de concretização das políticas públicas, compreendendo as decisões ali tomadas e as consequências dessas decisões”. Sobre os mais recentes estudos, no que diz respeito à implementação de políticas públicas, afirma-se:

Atualmente, estamos na quarta geração de estudos sobre implementação. Essa geração é marcada por múltiplos modelos e formas distintas de análise sobre o objeto e por produções disseminadas em vários países e continentes. É também marcada por uma influência maior de outros campos de estudos, especialmente a Sociologia, nas análises de implementação. Por fim, também é marcante nessa nova geração temas relacionados a novos modelos da ação estatal que se complexificaram pós processos de reformas do Estado. A ideia de governança, de instrumentos de ação pública, a relação entre atores estatais e não estatais, os novos arranjos institucionais, os processos multinível, sistemas de coordenação, capacidades estatais na implementação entre outros são algumas das temáticas que ganham espaço nessa nova agenda (SAETREN, 2014; HILL; HUPE, 2003; HOWLETT, 1991 apud LOTTA, 2019, p. 17).

O avanço dos estudos sobre implementação de políticas públicas ampliou o escopo das pesquisas avaliativas ao incorporar temas relacionados aos novos paradigmas da relação Estado-Sociedade civil na qual se reconhece a possibilidade de ação conjunta e compartilhada destes na construção de políticas públicas mais descentralizadas, que exigem maior grau de coordenação e de instrumentos de governança para alcançar seus propósitos.

Todavia, recorrentemente, as avaliações de políticas públicas têm dado ênfase à aferição de impactos, quando, “em uma perspectiva sistêmica, as dificuldades de implementação dos programas – que ocupam a maior parte do seu tempo de vida – deveriam estar no centro de preocupação dos gestores e avaliadores” (JANNUZZI, 2019, p. 73). Sobre a centralidade da análise de implementação na avaliação de políticas públicas, Jannuzzi (2019, p. 70) assevera:

Pelo estágio de maturação em que se encontram as políticas públicas no país, avaliações diagnósticas e avaliações de processo continuam sendo cruciais para desenho e aprimoramento de programas mais adequados às características dos públicos-alvo, às diferentes e capacidades de gestão pelo território e para identificação dos gargalos operacionais que mitigam a efetividade da ação governamental.

Para que os estudos de implementação comportem a análise dos variados aspectos desta etapa do processo de política pública, Mazzei (2018) defende a necessidade de uma análise que aglutine as abordagens top-down e bottom-up[1].Dessa forma, a ênfase deve recair tanto nas normas e planos como também enfatizar os atores, suas ações e relações.

Após uma ampla discussão das especificidades argumentativas dos principais autores da área das políticas públicas, Mazzei (2018) sintetiza os elementos centrais da análise do processo de implementação por autor/referência no Quadro 1.

Mazzei (2018) conclui, portanto, que todos os autores fazem menção à abordagem híbrida, integrando as perspectivas top-down e bottom-up. Destaco ainda que Mazzei (2018) assume a perspectiva do processo de implementação como um “jogo” no qual estarão abertas as possibilidades, em maior ou menor grau, de modificação das formas de executar a política à medida que se estabelecem os conflitos entre formuladores e implementadores da política. Além disso, de acordo com Mazzei (2018), a metáfora do “jogo” é utilizada por Arretche (2001) para reforçar a função de coordenação do Estado por meio de uma estrutura de incentivos e mediação das negociações, perspectiva compartilhada por Silva (2008) ao considerar que a política modela a implementação à medida que recursos e objetivos são transformados pelas decisões e decisores.

Corroborando com a compreensão de Mazzei (2018), Boullosa (2021) indica que o processo de implementação das políticas pelas burocracias, pelos gestores e demais atores, públicos e privados, é um jogo processado a partir de rodadas sucessivas, no qual os que estão vinculados a esse processo podem ter agendas e interesses distintos, alinhados com suas crenças, valores e percepções. Sendo assim, é necessário “ter clareza de que nossos quadros valorativos tenderão a significações específicas sobre os(as) sujeitos(as) que são policymakers e policytakers das políticas públicas” (BOULLOSA, 2021, p. 12).

Apresentados os elementos teóricos dos autores selecionados para o estudo, Mazzei (2018, p. 87) elabora sua própria estrutura de análise do processo de implementação dos programas de apoio à Economia Solidária relacionados às cooperativas de agroecologia, indicando a necessidade de descrição da estrutura do programa/plano, da diversidade de atores (governamentais e não governamentais), da especificidade do contexto, dos planos de ação/estratégias, do espaço de discricionariedade dos implementadores e dos conflitos entre os diferentes níveis de governo; destacando que a estrutura elaborada que “não é um modelo de etapas ordenadas, mas de aspectos relevantes para a análise que se inter-relacionam, repetem-se e não possuem necessariamente uma ordem estabelecida”.

Quanto à estrutura do programa/plano foram considerados os objetivos, as estratégias e metodologias, o público-alvo, as regras e diretrizes, os recursos e os atores; no que diz respeito à diversidade de atores, foram analisados os diferentes atores individuais ou em grupos envolvidos, suas relações e organização em rede, as parcerias e disputas, as ideias e valores envolvidos; acerca das especificidades de contexto, o olhar estará direcionado às condições de trabalho dos implementadores e regras locais, às condições socioeconômicas e culturais e às possíveis mudanças de contexto; no que tange ao plano de ação/estratégias, são consideradas as estratégias de implementação desenvolvidas pelos implementadores, a seleção de grupos prioritários, a organização do trabalho quanto ao tempo, aos recursos e ao espaço territorial; com relação ao espaço de discricionariedade, analisam-se os espaços de decisão dos atores implementadores, possíveis ajustes e alterações no plano e, ainda, as inovações e criações originadas no momento da implementação para a política; e, por último, acerca dos conflitos entre os diferentes níveis de governo, são consideradas as estruturas e relações federativas desenvolvidas para o programa.

Diante da variedade dos aspectos envolvidos na análise de implementação da política de economia solidária descritos acima, entende-se que a avaliação de implementação “investiga de forma sistemática o desenvolvimento de programas sociais com o propósito de: medir a cobertura do programa social; estabelecer o grau em que está alcançando a população beneficiária; acompanhar seus processos internos” (COSTA; CASTANHAR, 2003, p. 980). O interesse não está em medir o tamanho ou a natureza do impacto de uma política pública, mas sim em estabelecer uma comparação entre o que foi planejado e o que foi devidamente realizado.

Dessa maneira, a avaliação de implementação é

A maneira de identificar o verdadeiro conteúdo de um programa público, se ele está sendo realizado como previsto, se está alcançando o público para o qual foi concebido e se os benefícios estão sendo distribuídos na intensidade prevista (SCHEIRER, 1994, p. 40 apud COSTA; CASTANHAR, 2003, p. 983).

Isso posto, a avaliação de implementação deve, conforme destacou Draibe (2001), partir das seguintes dimensões analíticas: as estratégias da implementação, a dimensão temporal, os atores estratégicos e as matrizes de cooperação e conflito, as redes e parcerias de apoio.

Além disso, com a finalidade de contribuir metodologicamente com as avaliações de implementação, Draibe (2001, p. 31) propõe o que denomina “anatomia do processo geral de implementação”, identificando o que, segundo a autora, seriam os subprocessos: sistema gerencial e decisório, processos de divulgação e informação, processo de seleção e capacitação de executores da política e beneficiados por ela, sistemas logísticos operacionais, processo de monitoramento e avaliação internos. De acordo com Lotta (2019), a implementação é influenciada por fatores relacionados a sistemas mais gerais (formato do estado, crenças e valores sociais, cultura nacional etc.), organizacionais e relacionados aos indivíduos que atuam nas políticas. As regras são apenas um dos elementos importantes para compreender a implementação de políticas públicas, mas elas não são suficientes para determinar o que de fato vai acontecer.

Acrescenta-se a orientação de Boullosa et al. (2021, p. 14) que diz:

Lembremos que avaliamos em um país historicamente pautado por valores coloniais, clientelistas, patrimoniais, assistencialistas e permeado por preconceitos que têm relação direta com o agravamento de múltiplas desigualdades. Frente à fragilização dos direitos sociais e com o esgarçamento desta noção de direitos, bem como da noção de público, defendemos que a avaliação, o(a) avaliador(a) e suas estratégias avaliativas são atores estratégicos para influenciar e informar as arenas em torno das políticas públicas.

Pelo exposto acima, entende-se que a avaliação de políticas públicas deva contribuir para o debate nos espaços públicos, visando à promoção dos direitos sociais, ao sistematizar um conjunto de evidências empíricas para compreensão da realidade social marcada pelo agravamento das crises socioeconômicas que expõem brasileiros e brasileiras à vulnerabilidade social.

Na avaliação de implementação cabe o conceito de eficácia que, segundo Bittencourt (2010), responde se os instrumentos previstos são os que foram efetivamente empregados. Arretche (1998) destaca que “este tipo de avaliação precisa de pesquisas de campo capazes de aferir e reconstituir o processo de implantação e/ou implementação da política sob análise”.

Logo, a importância da avaliação de implementação no campo da gestão de políticas públicas reside na possibilidade de reconectar a lógica da vinculação entre os resultados esperados e a metodologia desenhada para a implementação de determinada política pública e replanejar as estratégias de ação em caso da constatação de instrumentos de implementação insatisfatórios.

4 PARÂMETROS ÚTEIS À AVALIAÇÃO DE IMPLEMENTAÇÃO DAS POLÍTICAS PÚBLICAS DE ECONOMIA SOLIDÁRIA

Pode-se reconhecer pelo menos três dimensões que devem orientar a avaliação da implementação de uma Política Pública em Economia Solidária (PPES): a institucional, a política e a dos resultados. A dimensão institucional contempla a estrutura da PPES no que diz respeito aos objetivos, estratégias, público-alvo, diretrizes e recursos; aos planos de ação, reconhecendo as estratégias definidas pelos implementadores, à seleção dos grupos prioritários, à organização do trabalho e dos recursos e à distribuição das tarefas no espaço territorial.

Na dimensão política, deve-se visualizar a diversidade de atores, incluindo a identificação dos indivíduos e grupos, das relações entre eles, dos pontos de tensão e conflito, dos processos de negociação e barganha; o espaço de discricionariedade alcançando os espaços de decisões dos implementadores, as decisões dos implementadores, os ajustes e alterações no plano, as inovações e criações incorporadas.

A dimensão dos resultados, no que lhe concerne, deve abarcar dados construídos por meio de pesquisa documental e de campo, dando ênfase aos aspectos quantitativos e qualitativos, apoiando-se na análise dos relatórios de prestações de contas disponibilizados pelos órgãos implementadores e na realização de entrevistas com beneficiados pela PPES, a fim de avaliá-la com vistas à sustentabilidade dos empreendimentos solidários, à continuidade/descontinuidades das ações e à eficácia, que, segundo Arretche (1998), mede a relação entre os objetivos e instrumentos explícitos de dado programa e seus efetivos resultados.

Diante das possibilidades metodológicas apresentadas para a condução de uma bem-sucedida avaliação de implementação de política pública, uma pesquisa avaliativa pode partir de uma análise de implementação baseada nas indicações de Mazzei (2018), destacando os planos e objetivos, o aparato administrativo responsável pela implementação, as ideias, os valores e as concepções dos indivíduos, bem como o campo de discricionariedade possibilitado aos agentes implementadores.

Em busca de parâmetros úteis para a avaliação de implementação da política de economia solidária, recorreu-se à Rede de Gestores de Políticas Públicas de Economia Solidária, criada em 2003, em vista da qualificação das ações desenvolvidas pelos órgãos de governo para esse segmento, por meio da articulação entre gestores e gestoras de políticas de Economia Solidária de prefeituras e governos estaduais, para intercâmbio, interlocução, interação, sistematização, proposição de políticas públicas governamentais e realização de projetos comuns que fomentem e desenvolvam a Economia Solidária (REDE DE GESTORES, 2014),

A Rede é constituída por gestores de políticas de Economia Solidária que se tornaram militantes da Economia Solidária e assumem funções governamentais juntamente com servidores públicos, comprometendo-se com tarefas específicas nos espaços criados para a promoção das políticas de fomento à Economia Solidária (SCHIOCHET; SILVA, 2017).

Desse modo, dada a finalidade da Rede de Gestores de Políticas Públicas de Economia Solidária, suas recomendações fornecem caminhos relevantes para a construção de parâmetros avaliativos de implementação (“o que deve ser”), ou seja, indicadores, os quais podem ser dimensionados por meio de uma escala abstrata baseada em 5 níveis (completamente inadequada [1], parcialmente inadequada [2], não se aplica [3], parcialmente adequada [4] e completamente adequada [5]).

A checklistcontém, nesse sentido, critérios de performance estruturados a partir de padrões e referenciais presentes na literatura acadêmica sobre análise e avaliação de implementação e nos manuais da Rede de Gestores de Políticas Públicas de Economia Solidária.

Ressalta-se que os números 1, 2, 3, 4 e 5 são apenas codificações que tornaram o checklist de avaliação mais didática, não havendo, portanto, interesse em manipular, a partir de uma análise fatorial, tais números, já que não foram definidos índices estatísticos para as variáveis avaliativas. A avaliação de implementação da política de fomento à Economia Solidária se dá, por meio deste instrumento, numa abordagem qualitativa, dada a especificidade da política e a ausência de indicadores consolidados na literatura especializada.

Nesse sentido, o instrumento apresentado insere-se na perspectiva de oferecer parâmetros de avaliação de implementação para a política de Economia Solidária nas unidades federativas do Brasil.

5 CONCLUSÃO

Os modelos de análise de políticas públicas nascem no contexto dinâmico dos imperativos das novas relações entre Estado e sociedade, que exigem dos governos, por sua vez, reformulações na condução da “coisa” pública. Vale ressaltar que as crescentes demandas sociais latentes nos Estados democráticos tencionam reformas administrativas que tragam consigo propostas para melhoria no processo de gestão das políticas públicas, no qual o controle social deveria ser um instrumento efetivo.

Dessa maneira, percebe-se que a discussão em torno da avaliação de uma política pública passa necessariamente pelos temas do novo gerencialismo público (New Public Management), que se fundamenta no controle dos gastos públicos e na exigência por uma melhor qualidade dos serviços prestados. Controle e resultados são, portanto, elementos indissociáveis no desafio de transformar a Administração Pública, no sentido de torná-la mais efetiva no enfrentamento dos problemas públicos ou, no mínimo, mais coerente com seus objetivos de longo prazo, que impactam sobremaneira a população.

Um dos grandes desafios do campo das políticas públicas é, entretanto, impulsionar o desenvolvimento econômico sustentável e promover a inclusão social a partir de intervenções estatais bem formuladas e implementadas. Somente a partir da estruturação e manutenção de sistemas de avaliação e monitoramento de políticas públicas que permitam ampla participação da sociedade civil, pelos órgãos executores das ações, poderemos visualizar no Brasil o comprometimento da administração pública com os resultados e impactos advindos da sua atuação.

Avaliar a implementação de políticas públicas possibilita a identificação dos obstáculos e falhas que costumam acometer essa fase do ciclo da política pública relacionadas geralmente às relações existentes entre as pessoas, as instituições vigentes (regras formais e informais), os recursos financeiros, materiais, informativos e políticos. Conhecer a anatomia do processo geral de implementação é, a saber, crucial para a construção de informações relevantes nas pesquisas avaliativas.

Como exemplo de aplicação de instrumental de avaliação de implementação de políticas públicas, este artigo forneceu um modelo de checklist baseado nas recomendações da Rede de Gestores de Políticas Públicas de Economia Solidária, para demonstrar, numa abordagem qualitativa, parâmetros que podem ser utilizados nas pesquisas avaliativas das políticas de economia solidária implementadas pelos governos estaduais no Brasil.

REFERÊNCIAS

ABDALA, I. G. Barreiras e facilitadores da implementação do Programa Famílias Fortes no Nordeste do Brasil segundo gestores: uma análise de contexto baseada em abordagens de avaliação de processo. 2018. 172 f., il. Dissertação (Mestrado em Psicologia Clínica e Cultura) – Universidade de Brasília, Brasília, 2018.

ARRETCHE, M. T. S. Tendências no estudo sobre avaliação. In: RICO, E. M. (org.) Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 29-39.

ARRETCHE, M. T. S. Uma contribuição para fazermos avaliações menos ingênuas. In: CARVALHO, M. do C. B. de; BARREIRA, M. C. R. Nobre. (org.) Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001.

BOULLOSA, R. F. et al. Por um antimanual de avaliação de políticas públicas. Revista Brasileira de Avaliação, v. 10, n. 1, p. 0-0, 2021. Disponível em: http://www.rbaval.periodikos.com.br/article/doi/10.4322/rbaval202110005. Acesso em: 19 nov. 2021.

DAGNINO, E. Construção democrática, neoliberalismo e participação: os dilemas da confluência perversa. Política & Sociedade, v. 3, n. 5, p. 139-164, 2004. Disponível em: https://periodicos.ufsc.br/index.php/politica/article/viewFile/%201983/1732. Acesso em: 12 maio 2019.

DRAIBE, S. M. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (org.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, p. 13-42, 2001. Disponível em: https://marialuizalevi.files.wordpress.com/2015/05/draibe-arretche.pdf. Acesso em: 22 set. 2019.

FARAH, M. F.S. Análise de políticas públicas no Brasil: de uma prática não nomeada à institucionalização do “campo de público”. Revista de Administração Pública, v. 50, p. 959-979, 2016. Disponível em: https://www.scielo.br/j/rap/a/tYDC3xqzZK33gpY3vfZ7jpG/abstract/?lang=pt. Acesso em: 13 jun. 2020.

FIGUEIREDO, M. F.; FIGUEIREDO, A. M. C. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise e conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, set./dez. 1986.

HÖFLING, E. Estado e políticas (públicas) sociais. Cadernos Cedes, v. 21, p. 30-41, 2001.

JANNUZZI, P. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e políticas públicas, n. 36, 2011. Disponível em: http://ipea.gov.br/ppp/index.php/PPP/article/view/228. Acesso em: 26 abr. 2019.

JANNUZZI, P. A implementação no centro da Avaliação de Políticas Públicas. Revista Aval, v. 2, n. 16, jul./dez. 2019. Disponível em: https://repositorio.ufc.br/bitstream/riufc/49662/1/2019_art_pmjannuzzi.pdf. Acesso em: 20 abr. 2023.

LIMA, L; D`ASCENZI, L. Implementação de políticas públicas: perspectivas analíticas. Revista de Sociologia e Política, v. 21, n. 48, p. 101-110, dez. 2013. Disponível em: https://www.scielo.br/j/rsocp/a/zpwj63WjFbZYVkSXgnXDSjz/abstract/?lang=pt. Acesso em: 14 jan. 2019.

LOTTA, G. (org.). Teorias e análises sobre implementação de políticas públicas no Brasil. Brasília: Enap, 2019. Disponível em: https://repositorio.enap.gov.br/handle/1/4162. Acesso em: 24 nov. 2021.

MARTELLI, C. G.; COELHO, R. Avaliar o quê? Os vários sentidos de efetividade no campo de estudos da participação. Opinião Pública, v. 27, n. 2, p. 623-649, 2021. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/op/article/view/8666925. Acesso em: 18 nov. 2021.

MAZZEI, B. B. O processo de implementação de programas federais de economia solidária de apoio a cooperativas de agroecologia. 2018. 161 f. Tese (Doutorado em Administração pública e Governo) – Fundação Getulio Vargas-FGVSP, São Paulo, 2018.

RAMOS, M. P.; SCHABBACH, L. M. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública-RAP, v. 46, n. 5, p. 1271-1294, 2012. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/7140/5692. Acesso em: 13 jun. 2019.

SCHIOCHET, V.; SILVA, R. F. da. A formação de gestores na política pública de economia solidária. Revista Mundo do Trabalho Contemporaneo. Unitrabalho, v. 1, n. 1, 2017. Disponível em: http://periodicos.unb.br/index.php/mtc/article/download/7238/5850. Acesso em: 21 jun. 2019.

SECCHI, L. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. ed. São Paulo: Cengage Learning, 2017.

SILVA, M. O. S. Pesquisa avaliativa: aspectos teórico-metodológicos. São Paulo: Veras, 2008.

SOUZA, C. Políticas públicas: uma revisão da literatura. Sociologias, Porto Alegre, ano 8, n. 16, p. 20-45, jul./dez. 2006. Disponível em: https://doi.org/10.1590/S1517-45222006000200003. Acesso em: 15 out. 2018.

TREVISAN, A.; VAN BELLEN, H. M. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública-RAP, v. 42, n. 3, p. 529-550, 2008. Disponível em: https://www.scielo.br/j/rap/a/bCWckwnwwrvF8Pb9kDtjDgy/abstract/?lang=pt. Acesso em: 16 fev. 2019.

Notas