1 Introdução

Em um Estado democrático de direito, a definição da agenda de políticas públicas, bem como sua implementação e avaliação, devem ser orientadas para o alcance eficiente e efetivo das demandas sociais, em um processo transparente entre Estado e cidadãos. De forma geral, as políticas públicas são as decisões de governo que influenciam a vida de um conjunto de cidadãos. São os atos que o governo realiza ou deixa de realizar os efeitos que tais ações ou inações provocam na sociedade. Nesse contexto, surgem questionamentos relacionados à alocação dos recursos em programas sociais (Chiechelski, 2005). Logo, compreender o êxito ou fracasso das políticas públicas implementadas é indispensável para o melhor desempenho da Administração Pública, posto que estas influenciam diretamente no planejamento governamental (Trevisan, Bellen, 2008). Diante do exposto, julga-se relevante o desenvolvimento de estudos de avaliação de políticas públicas que mapeiem as variáveis explicativas do desempenho dessas políticas e seu grau de influência, principalmente para dirimir incertezas quanto à equidade, à transparência e à eficiência na alocação dos recursos públicos em políticas públicas.

De forma localizada, o estado de Minas Gerais é o segundo estado brasileiro em número de habitantes e o quarto com a maior área territorial do país. Destaca-se pelas disparidades regionais, posto que embora possua o terceiro maior Produto Interno Bruto [PIB] entre as demais unidades federativas brasileiras e Índice de Desenvolvimento Humano [IDH] equivalente a 0,731, ainda coexistem em seu espaço territorial regiões modernas em contraste com regiões atrasadas com população que ainda vive na faixa da extrema pobreza (Instituto Brasileiro de Geografia e Estatística, 2017). Neste sentido, entende-se que as políticas públicas sociais são importantes para amenizar esta situação de desigualdade. Um exemplo deste tipo de política, o Programa Bolsa Família [PBF], já transferiu, em apenas um mês [janeiro de 2018], mais de cento e oitenta milhões de reais às famílias dos municípios mineiros beneficiárias do programa. Tais famílias estão localizadas em regiões com desigualdades econômicas e sociais, carentes de outras políticas públicas, demarcadas por altas taxas de analfabetismo, concentração da pobreza e baixo desempenho tributário local (Galvarro, Faria, Ferreira, Souza, 2012; Monteiro, 2008; Silva, 2009; Souza, 2007).

Silva, Ferreira e Monteiro (2012), em estudo correlato sobre indicadores de avaliação do PBF, destacaram a necessidade de aprimoramento dos mecanismos de monitoramento de informações e de acompanhamento das condicionalidades do programa, visando garantir à população beneficiada o acesso a direitos básicos como educação e saúde, atingindo assim o objetivo do PBF, que é reduzir a pobreza entre gerações e apoiar as famílias no cumprimento de seus direitos fundamentais. Como instrumento de avaliação de desempenho, o PBF possui o Índice de Gestão Descentralizada [IGD], considerado uma ferramenta de monitoramento do desempenho geral dos municípios, um instrumento de incentivo financeiro à gestão local do PBF (Silva, Ferreira, Monteiro, 2012). O IGD permite acompanhar a evolução da gestão municipal, facilitando a identificação de problemas e a intervenção corretiva em áreas estratégicas para os resultados do PBF (Cunha Pinto, 2008).

Julga-se essencial avaliar o programa Bolsa Família, verificando seu desempenho geral e identificando possíveis fatores associados à eficiência e efetividade da gestão. Em um programa social, a eficiência é o termo usado para traduzir o comportamento gerencial quando, manipulando de forma adequada seus insumos [eficiência], o executivo atinge seus produtos [eficácia], com valor social, isto é, tendo tais produtos ampla aceitação do mercado (Cury, 2006, p. 21). Segundo Torres (2004), a efetividade no setor público afere em que medida os resultados de uma ação trazem benefício à população. Ou seja, ela é mais abrangente que a eficácia, na medida em que esta indica se o objetivo foi atingido, enquanto a efetividade mostra se aquele objetivo trouxe melhorias para a população visada.

Diante disso, indaga-se: Qual a relação entre o desempenho de geral de gestão do Programa Bolsa Família e dos fatores que explicam a eficiência e efetividade do programa? Para contemplar tal questão, buscou-se, neste estudo, explicar o grau de influência da comunicação interorganizacional, das condições socioeconômicas, do esforço administrativo dos órgãos implementadores e dos recursos destinados sobre o desempenho do programa Bolsa Família.

Espera-se que os resultados contribuam para novas percepções sobre monitoramento e avaliação de políticas públicas e programas sociais, em termos de eficiência e efetividade, abordando a comunicação; as condições socioeconômicas, nas quais a vulnerabilidade é um fator determinante para o direcionamento das políticas públicas e do esforço administrativo dos órgãos implementadores; sua compreensão sobre o problema social e forma de confrontá-lo com o uso dos recursos destinados no alcance do desempenho do Programa Bolsa Família e as relações de influência entre essas variáveis em relações teórico-empíricas.

Após esta seção de introdução, contemplam-se os fundamentos teóricos sobre avaliação de políticas públicas que embasaram o modelo proposto e suas hipóteses, seguidos da apresentação do Programa Bolsa Família e seu Índice de Gestão Descentralizada, abordagem metodológica, finalizando com a análise dos dados e considerações finais.

2 Fundamentação Teórica

Os estudos sobre políticas públicas foram consolidados sob o pressuposto analítico de que, em democracias estáveis, as ações do governo são passíveis de serem formuladas cientificamente e analisadas por pesquisadores independentes (Souza, 2007). Há quatro formatos que as políticas públicas podem assumir, segundo Lowi (1964, 1972):

1 - As políticas distributivas, que são decisões tomadas pelo governo com impactos mais individuais, privilegiando certos grupos sociais ou regiões. Neste formato de política pública não é levada em consideração a questão dos recursos limitados;

2 - As políticas regulatórias, que envolvem burocracia e são mais visíveis ao público;

3 - As políticas redistributivas, com maior alcance de pessoas, ocasionando perdas concretas a curto prazo para determinados grupos sociais, ao passo que gera ganhos incertos e futuro para outros;

4 - As políticas constitutivas, relacionada a procedimentos.

Assim, uma política pública é “uma diretriz elaborada para enfrentar um problema público” (Secchi, 2010, p. 2). Com isso, depreende-se que deve haver uma intencionalidade de caráter coletivo por trás do estabelecimento de uma política pública, onde a relevância de um dado problema para o coletivo é ponto de interesse fundamental. Souza (2006, p. 26) entende que “a formulação de políticas públicas se constitui no estágio em que os governos democráticos traduzem seus propósitos e plataformas eleitorais em programas e ações que produzirão resultados ou mudanças no mundo real”. Após serem delineadas e formuladas, as políticas públicas desdobram-se em planos, programas, projetos, bases de dados, ou sistemas de informação e pesquisas. Ao serem postas em ação, são implementadas e passam a ser submetidas a sistemas de acompanhamento e avaliação (Souza, 2006). No entanto, entende-se que, apesar de estarem sob a responsabilidade do Estado, as políticas públicas são ações que devem resultar de um processo decisório onde há participação tanto de atores públicos como de atores sociais vinculados à política (Araujo, Boas, 2014). A abordagem da análise de políticas públicas [policyanalysis]tem como elemento importante o chamado policy cycle, o ciclo de políticas públicas (Rua, 2012).

Secchi (2010) propõe sete fases principais para o ciclo de políticas públicas:

1 - Identificação do problema;

2 - Formação da agenda;

3 - Formulação de alternativas;

4 -Tomada de decisão;

5 - Implementação;

6 - Avaliação;

7 - Extinção.

Na fase de avaliação, o desempenho de uma política pública é examinado a fim de que seja melhor conhecido seu atual estado e torne-se explícito o nível de redução do problema para o qual foi gerada, sendo este um momento de feedback sobre as fases antecedentes, senão, sobre a política como um todo. Por último, a fase de extinção, embora nem sempre presente em todos os ciclos, representa o momento em que uma política pública cessa, devido a fatores diversos, como o fim do problema que a originou (Frey, 2009; O’Toole, 2003; Röth Deubel, 2006; Secchi, 2010).

2.1 Avaliação de políticas públicas

A avaliação da política pública é o “processo de julgamentos deliberados sobre a validade de propostas para a ação pública, bem como sobre o sucesso ou a falha de projetos que foram colocados em prática” (Anderson, 1979, p. 711). Para Arretche (2001), ela é um tipo de estudo das políticas públicas de cunho mais prático, com forte inferência prescritivo-normativa. Costa e Castanhar (2003, p. 972) afirmam que o propósito da avaliação é “guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de correções ou mesmo suspensão de uma determinada política ou programa”. No entanto, reconhece-se que não há um consenso quanto a o que é avaliação, devido as múltiplas, e às vezes contraditórias, formas pelas quais esta é definida, dentre uma variedade de disciplinas, tais como economia, política, administração e sociologia (Cunha, 2006).

A avaliação de políticas públicas usualmente é classificada em função de seu timing. “[...] (Antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado [contexto, insumos, processos e resultados]” (Cotta, 2001, p. 91). Também podem ser classificadas como formativas quando adotadas durante a implementação da política, e somativas, quando realizadas quando o programa já está implementado, a fim de verificar a sua efetividade (Cunha, 2006). Em relação ao momento, tem-se a distinção entre avaliação ex ante, anterior à implementação; in itinere [também conhecida como monitoramento], que ocorre durante o processo de implementação objetivando ajustes imediatos. Por fim, a avaliação ex post, que é posterior à implementação (Costa , Castanhar, 2003).

Para a realização da avaliação, é necessária a definição de critérios, indicadores e padrões, sendo que os critérios utilizados são os parâmetros pelos quais o avaliador se fundamenta para julgar o bom ou mau funcionamento de uma política pública. Os principais critérios utilizados para avaliações são economicidade [que se refere ao nível de utilização de recursos], eficiência econômica e administrativa [uma refere-se à relação entre recursos e produtividade, e a outra, à relação entre o seguimento de prescrições, respectivamente], eficácia [refere-se ao nível de alcance de metas e objetivos] e equidade [refere-se à homogeneidade de distribuição de benefícios ou punições entre os destinatários de uma política pública] (Secchi, 2010). Quanto à eficiência, é a relação entre insumo e produto, entradas e saídas (Castro, 2006).

A operacionalização dos critérios dá-se por meio de indicadores, que são mecanismos criados para medir input [entradas do sistema], output [saídas do sistema] e outcome [resultado]. Os indicadores de input estão relacionados aos recursos utilizados, financeiros, materiais e [ou] humanos. Indicadores de output estão relacionados à produtividade de serviços e [ou] produtos, comumente em termos quantitativos. Indicadores de outcome são relacionados aos efeitos da política pública sobre seus destinatários e à capacidade de resolução ou diminuição do problema que a gerou, e comumente são operacionalizados por meio de médias e [ou] percentuais de satisfação dos usuários, cumprimento das diretrizes pelos agentes públicos, dentre outras medidas nesse sentido (Secchi, 2010).

A referência comparativa para os indicadores vem por meio de padrões [parâmetros], que podem ser absolutos [metas estabelecidas antes da fase de implementação da política pública], históricos (valores já alcançados anteriormente que permitem a comparação por períodos de meses ou anos, gerando informações sobre declínio ou melhora da política pública), e normativos [metas estabelecidas com base em benchmark ou modelo ideal] (Secchi, 2010). Ainda, é necessário o exame da política de forma holística e, em específico, do seu processo de implementação. O modelo de Van Meter e Van Horn (Figura 1) representa o processo de implementação.

Os autores do modelo representado na Figura 1 afirmam que, neste processo, o entrosamento entre formuladores e implementadores, o conhecimento destes sobre o projeto e sobre as atividades envolvidas em cada fase deste são fundamentais para o sucesso da política. Com isso, conforme o modelo apresentado, o desempenho da política depende das características dos implementadores, das condições políticas, econômicas e sociais e do esforço de execução dos implementadores. Entende-se que as características dos implementadores estão relacionadas com a configuração dos pontos onde são operacionalizadas as ações da política. A comunicação interorganizacional e o controle das atividades dependem da clareza das metas e objetivos e da densidade da comunicação destas para com os agentes, da relação entre atividades relacionadas aos auxílios técnicos e de informação das agências implementadoras. As condições políticas, econômicas e sociais dependem dos recursos econômicos disponíveis, bem como do reflexo das condições econômicas e sociais.

A avaliação pode ser implementada para atividades, serviços, programas e políticas, sendo mais comum para os dois últimos casos. A avaliação de programas é mais comum na maioria dos países do que a avaliação de políticas e, de forma geral, parece ser mais fácil de ser encaminhada quando se trata de um programa, uma vez que, como ação simplificada, os mecanismos e instrumentos para a sua execução e os seus resultados são mais visíveis (Silva et al., 2007).

2.2 Hipóteses do Modelo

O papel dos implementadores na realização de políticas públicas tem sido analisado sobre diferentes abordagens. Sobre a capacidade administrativa desses atores, Oliveira (2016) aponta que essa capacidade compreende uma série de recursos e competências administrativas delegadas, tais como: Recursos humanos, capacitações, sistemas de informação, recursos financeiros, estrutura física, bem como a coordenação interorganizacional necessária à implementação. Assim, pode-se inferir que a capacidade administrativa dos implementadores é influenciada por esse conjunto de recursos e competências. Ainda, o comprometimento e participação dos implementadores nas decisões sobre a implementação é um aspecto decisivo para a efetiva produção de políticas públicas (Siman, 2005).

Outra observação apontada por Passone (2013) é que as políticas de longo prazo tendem a causar resistências e gerar críticas, dado o maior custo e responsabilidade requeridos das autoridades de controle. Para operacionalizar as políticas públicas e os papeis dos diferentes atores envolvidos, são estabelecidas leis e normativas reguladoras, com objetivos, metas, ações, prazos e procedimentos de transparência (Ferreira, 2016). Assim, o alcance de objetivos depende da iniciativa e capacidade de atuação dos implementadores (Meter, Horn, 1975; Passone, 2013). Dadas essas considerações, propõe-se a seguinte hipótese:

Hipótese 1 (H1): O esforço de execução dos implementadores tem uma relação positiva com o desempenho da política pública.

Estudos têm relacionado o desenvolvimento de políticas sociais ao grau de vulnerabilidade da população (Cunha, Jakob, Hogan, Carmo, 2004; Mendes, 2009; Yasbek, 2004), especialmente em países com desigualdades sociais como o Brasil. Oliveira (2009) evidencia a relevância das análises de vulnerabilidade social como ferramentas de planejamento para de políticas públicas. Para o autor, a vulnerabilidade social está associada à capacidade de resistência e resiliência de indivíduos e grupos sociais mediante recursos e riscos de seu ambiente. Para análise dessa vulnerabilidade, o autor sugere as seguintes dimensões: Características biofísicas do território; dinâmica demográfica; capital social; dimensões socioculturais; as políticas públicas com impacto direto na estruturação do território; políticas de desenvolvimento, investimento público e atividade econômica.

Kaztman (2000) retrata a vulnerabilidade como a incapacidade de uma pessoa de aproveitar das oportunidades disponíveis em seu contexto socioeconômico a fim de melhorar sua situação, alcançar bem-estar ou mesmo impedir sua precarização. O autor relaciona a vulnerabilidade como resultante da deficiência de acesso ou mesmo à precariedade das estruturas de oportunidades oferecidas pelo mercado, pelo Estado e pela sociedade. No contexto brasileiro, Tavares (2003) cita que a pobreza tem uma relação direta com a espacialidade, que generaliza as condições de precariedade dos cidadãos de uma região. A Lei n. 8.742 (Lei Orgânica de Assistência Social) de 1993 aponta que

“Os projetos de enfrentamento da pobreza compreendem a instituição de investimento econômico social nos grupos populares, buscando subsidiar financeira e tecnicamente iniciativas que lhes garantam meios, capacidade produtiva e de gestão para melhoria das condições gerais de subsistência, elevação do padrão da qualidade de vida, a preservação do meio ambiente e sua organização social” (Lei n. 8.742, 1993).

Nesse sentido, infere-se que, à medida que a as políticas públicas investem recursos em uma região e alcançam seus objetivos e possibilitam uma estrutura socioeconômica com oportunidades de acesso aos recursos necessários à qualidade de vida de seus cidadãos, as vulnerabilidades daquela região tendem a diminuir. Ainda, acredita-se que o nível de investimentos e recursos destinados pelas esferas de governo na execução de políticas públicas está associado à redução da vulnerabilidade de uma região. Semzezem e Alves (2013, p. 164) afirmam que “A diminuição dos níveis de vulnerabilidade social deve se dar a partir do fortalecimento dos sujeitos pela disponibilização do acesso a bens e serviços públicos e investimentos, o que amplia suas condições de mobilidade social”. Costa et al. (2018) relatam que muitas vezes os investimentos realizados não são suficientes para melhorar as condições de vulnerabilidade social no Brasil. Assim, propõe-se que:

Hipótese 2 (H2): O grau de vulnerabilidade social está negativamente relacionado com o desempenho das políticas públicas.

Hipótese 3 (H3): Os recursos direcionados à execução de políticas públicas de uma região moderam positivamente a relação entre o grau de vulnerabilidade social desta e o desempenho da política pública.

Dentre os elementos de gestão de políticas públicas, a comunicação interorganizacional e seu desempenho, conforme Meter e Horn (1975), dependem da clareza no delineamento de objetivos, ações e metas, da compreensão destes pelos agentes, bem como do nível de informação e relação entre as entidades de auxílio técnico e as agências implementadoras. Harland, Zheng, Johnsen e Lamming (2004) e Coti-Zelati e Moori (2015) apontam a comunicação interorganizacional como elemento essencial e integrador dos níveis da cadeia de valor para o usuário final. Assim, o diálogo e ações cooperativas entre os implementadores são elementos decisivos no alcance de objetivos (Saravia, Ferrarezi, 2006; Siman, 2005). Posto isso, propõe-se que:

Hipótese 4 (H4): Há uma relação de moderação positiva entre a comunicação interorganizacional, o esforço de execução dos implementadores e o desempenho da política pública.

Para verificação dos pressupostos do modelo em painel, foram realizados testes de autocorrelação (teste Wooldrigde), multicolinearidade (teste VIF) e heterocedasticidade ajustada pelo teste de Wald. Uma vez atendidos os requisitos, prosseguiu-se para as discussões sobre a análise do modelo de regressão. As etapas de análise do modelo de painel deste estudo foram realizadas via software Stata v.11. Partindo da premissa de que os tribunais não possuem as mesmas características estruturais (força auxiliar, investimentos em tecnologia, quantidade de juízes), tampouco o mesmo acervo de processos judiciais, conforme demonstram os dados do Conselho Nacional de Justiça (CNJ) de 2015, direcionou-se a análise do painel para efeitos fixos, pois pressupõe-se que as particularidades dos casos poderiam enviesar o poder explicativo das variáveis (Gujarati, Porter, 2011). O modelo por efeito fixo extrai das variáveis explicativas as características invariantes no tempo a fim de verificar o efeito líquido dessas variáveis (Torres-Reyna, 2007). Para confirmar a melhor aderência dos efeitos fixos em relação ao modelo pooled, realizou-se o Teste de Chow. Em seguida, os dados foram testados no modelo aleatório e confrontados com o de efeitos fixos a fim de verificar se as variações da capacidade explicativa eram significativas ou não via teste de Hausman. Os resultados são apresentados e discutidos na seção seguinte.

2.3 O Programa Bolsa Família

O programa Bolsa Família foi lançado com o propósito de reduzir a pobreza e as desigualdades existentes por meio da transferência de renda para famílias que vivem em estado de extrema pobreza (Estrella, Ribeiro, 2008). O Ministério do Desenvolvimento Social (MDS) define-o como um programa de transferência direta de renda com condicionalidades que beneficia famílias extremamente pobres (com renda mensal de até R$85,00 por pessoa) ou pobres (com renda mensal de R$85,01 a R$170,00 por pessoa), identificadas no Cadastro Único para Programas Sociais do Governo Federal.

A formulação do programa tem como desenho a descentralização, onde é proposto a estados e municípios o dever de desenvolverem ações específicas e indispensáveis em seus territórios para a implementação do PBF e sua gestão (Arsky, 2013). Com isso, faz-se necessária a gestão de condicionalidades de educação e saúde, que são requisitos obrigatórios para a obtenção de recursos por parte dos beneficiários. Tais condicionalidades envolvem frequência escolar, vacinação e realização de exames pré-natal, além do Cadastro Único Para Programas Sociais regularmente atualizado.

Nesse contexto, os municípios têm função estratégica na identificação e no cadastramento das famílias que se encontram em situação de pobreza. Também são corresponsáveis pelo acompanhamento de condicionalidades, pela gestão de benefícios e pela integração entre o Bolsa Família e outras ações e outros serviços que permitam o desenvolvimento das famílias. Enquanto a transferência monetária é centralizada no governo federal, as condicionalidades são descentralizadas, fazendo com que cada um dos municípios que oferecem os serviços de educação e saúde sejam responsáveis pelas ações relacionadas a tais condicionalidades. O cumprimento das condicionalidades deve ser monitorado e avaliado pelo governo federal por meio de índices criados especialmente para isso e agregados como parte do cálculo de um indicador global, o Índice de Gestão Descentralizada (IGD) (Estrella, Ribeiro, 2008).

Desde a sua criação, em abril de 2006, o Índice de Gestão Descentralizada Municipal (IGD-M) tem como propósito a melhoria da gestão municipal do PBF e do Cadastro Único Para Programas Sociais, sendo uma estratégia de apoio técnico e financeiro aos municípios. O índice mede o desempenho de cada município no que se refere aos aspectos da atualização dos cadastros das famílias, além de medir a atuação do município no acompanhamento de condicionalidades de educação e de saúde e no controle social do PBF e do Cadastro Único. O desempenho apurado pelo índice é o que vai determinar os recursos financeiros a serem repassados para apoio à gestão. Conforme prevê com o art. 3º, da Portaria GM/MDS n. 754, de 20 de outubro de 2010, as alterações promovidas pela Portaria n. 81, de 25 de agosto de 2015, o IGD-M é calculado pela multiplicação de 4 fatores, na forma da seguinte equação:

IGD-M = (F1 x F2 x F3 x F4) (1)

Em que:

I. F1: Fator de Operação, resultado da média aritmética simples das seguintes variáveis: Taxa de Atualização Cadastral (TAC) e resultado do acompanhamento de condicionalidades do Programa Bolsa Família

II. F2: Fator de adesão ao Sistema Único de Assistência Social (SUAS), que expressa se o município aderiu a esse sistema, de acordo com a Norma Operacional Básica (NOB/SUAS);

III. F3: É o fator de informação da apresentação da comprovação de gastos dos recursos do IGD-M, que indica se o gestor do Fundo Municipal de Assistência Social (FMAS) lançou no sistema informatizado do Ministério do Desenvolvimento Social e Agrário (MDSA), o SuasWeb, a comprovação de gastos ao Conselho Municipal de Assistência Social (CMAS);

IV. F4: É o fator de informação da aprovação total da comprovação de gastos dos recursos do IGD-M pelo CMAS, que indica se o referido conselho registrou no SuasWeb a aprovação integral das contas apresentadas pelo gestor do FMAS.

Para o recebimento dos recursos financeiros, o município deve:

1) Obter os valores mínimos de 0,55 (cinquenta e cinco centésimos) para a TAC, 0,30 (trinta centésimos) para a TAFE e TAAS e 0,55 (cinquenta e cinco centésimos) no cálculo do Fator 1;

2) Possuir valor 1 nos Fatores 2, 3 e 4 (F1, F2 e F3 assumem valores binários, pois representam, respectivamente, adesão ao SUAS, lançamento da comprovação de gastos no SuasWeb e aprovação total da comprovação de gastos pelo CMAS).

No que tange ao Bolsa Família, sua eficácia (desempenho da gestão) é medida por meio do alcance dos objetivos do programa por meio do IGD, a eficiência é obtida por meio do Fator 4 (F4 - Fator de informação da aprovação total da comprovação de gastos dos recursos do IGD-M) e a efetividade é medida pela redução do percentual de famílias em situação de vulnerabilidade dentro dos critérios do programa (Estimativa total de famílias de baixa renda).

3 Procedimentos Metodológicos

Este estudo é de natureza explicativo-descritiva e buscou investigar a relação entre o desempenho de geral de gestão do Bolsa Família e os fatores que explicam a eficiência e efetividade do programa (comunicação interorganizacional, condições socioeconômicas, esforço administrativo dos órgãos implementadores, recursos destinados, desempenho do Programa Bolsa Família). A coleta de dados deu-se por meio de pesquisa documental, uma vez que foram utilizados registros de informações sociais e publicações (dados secundários) disponibilizados pelo governo federal e pelo MDS.

Para obtenção dos dados, foi realizada uma coleta no portal da Matriz de Informações Sociais (MI Social), que é monitorado pela Secretaria de Avaliação e Gestão da Informação, vinculada ao MDS. Foram coletados dados dos anos de 2013 a 2017, em valores anuais acumulados. O universo da pesquisa é o estado de Minas Gerais e as unidades de análise são seus 853 municípios. O tratamento dos dados foi realizado por meio dos softwares Microsoft Excel, Stata e SPSS Process. Para atingir o objetivo proposto, utilizou-se a análise descritiva dos dados secundários, bem como a análise de modelo de regressão de dados em painel estático.

Para verificação dos pressupostos do modelo em painel, foram realizados testes de autocorrelação (teste Wooldrigde), multicolinearidade (teste VIF) e heterocedasticidade ajustada pelo teste de Wald (Gujarati, 2006). Uma vez atendidos os requisitos, prosseguiu-se para as discussões sobre a análise do modelo de regressão. As etapas de análise do modelo de painel deste estudo foram realizadas via software Stata v.11. Para verificar a relação entre o desempenho de gestão do Programa Bolsa Família e os fatores que explicam a eficiência e efetividade do programa (comunicação interorganizacional, condições socioeconômicas, esforço administrativo dos órgãos executores, recursos destinados, desempenho do Programa Bolsa Família), foram processadas regressões multivariadas com dados em painel. Estimaram-se inicialmente os modelos de regressão via Mínimos quadrados Ordinários (MQO), por Efeitos Fixos (EF) e Efeitos Aleatórios (EA).

O efeito pooling (Mínimos Quadrados Ordinários [MQO]) pressupõe que as variáveis tenham o mesmo coeficiente angular (Beta). Já o modelo de efeito fixo extrai das variáveis explicativas as características invariantes no tempo a fim de verificar o efeito líquido dessas variáveis (Torres-Reyna, 2007), considera a individualidade das observações (casos, municípios), enquanto o efeito aleatório considera a heterogeneidade das variáveis (comunicação, recursos, condições socioeconômicas, esforço de execução). Para confirmar a melhor aderência dos efeitos fixos em relação ao modelo pooled, realizou-se o Teste de Chow. Em seguida, os dados foram testados no modelo aleatório e confrontados com o de efeitos fixos, a fim de verificar se as variações da capacidade explicativa eram significativas ou não via teste de Hausman. Os resultados são apresentados e discutidos na seção seguinte.

4 Análise de Resultados

O banco de dados analisado comtemplou 4.265 observações, compreendendo o período de 2013 a 2017. A variável desempenho IGD-M foi criada a partir da interação entre as variáveis denominadas “Fator 01 (gestão de condicionalidades)” e “Percentual de Cobertura do Bolsa Família”. Observou-se que os municípios do estado de Minas Gerais obtiveram o IGD médio de 0,8172 com significativo desvio padrão. A amplitude desse indicador para os municípios oscilou em um máximo de 2,0061 e o valor mínimo de 0,14. Essa heterogeneidade corrobora com os resultados de Silva, Ferreira e Monteiro (2012), segundo os quais os autores concluem que grande parte dos municípios possuiu bom desempenho na gestão do programa, porém, destacou-se a existência de municípios com desempenho classificado como “péssimo” no IGD, uma vez que não conseguiram atingir o índice mínimo para recebimento dos recursos, mostrando que esses municípios apresentam falhas na gestão do PBF.

Com relação ao indicador de condições socioeconômicas, verificou-se uma média de 5.846 famílias de baixa renda, com um alto desvio padrão (25.460 famílias), sendo o valor mínimo observado de 106 e o máximo de 1.218.735 famílias. Essa diversidade característica dos municípios mineiros corrobora com o estudo de Cirino e González (2011, p.22), que, por meio de análise fatorial, verificou, em termos de situação econômica, quatro clusters de municípios no Estado:

I. Região Metropolitana de Belo Horizonte: A mais desenvolvida do estado, com altos indicadores sociais e econômicos, que também abarca cidades com níveis de vida e situação econômica bastante limitados;

II. Triângulo/Alto Paranaíba, Sul/Sudoeste, Zona da Mata e Vale do Rio Doce: Regiões com grande dinamismo econômico e alto padrão de vida, sendo que as duas primeiras são extremamente homogêneas e as duas últimas apresentam forte heterogeneidade interna.

III. Campo das Vertentes, Noroeste de Minas, Central Mineira e Oeste de Minas: Regiões com padrões intermediários de desenvolvimento econômico e social.

IV. Norte de Minas, Jequitinhonha e Vale do Mucuri: São as menos desenvolvidas do estado de Minas Gerais, apresentando os piores indicadores econômicos e sociais.

Sobre o sistema de Cadastro Único, base da comunicação interorganizacional do programa, foram cadastradas, em média, cerca de 71% das famílias estimadas como público visado pela política, com o menor desvio padrão de todas as variáveis. Quanto ao alcance do teto estimado para o repasse dos recursos, o alcance médio pelos municípios foi de 57%, mas com uma variância muito alta (18%), sendo que foram verificados municípios que não obtiveram recursos do programa. No que diz respeito à eficiência do programa (aprovação da comprovação de gastos dos CMAS), variável dummy (0 = reprovado; 1 = aprovado), a média dos municípios (92,98%) indicou que a maioria obteve aprovação dentro dos critérios estabelecidos. Esta dicotomia leva à inferência de que a captação de recursos não está associada à eficiência na comprovação de gastos na estrutura de execução do programa (Conselhos Municipais de Assistência Social [CMAS]), mas sim no repasse de renda.

De maneira geral, a estatística descritiva dos dados do PBF apresentou um panorama de considerável heterogeneidade. Apesar de os dados descritivos apresentarem um panorama geral, segundo Farias (2010), a efetividade da política pública deve ser analisada com relação ao aumento na média da distribuição dos recursos anualmente e, além disso, o aumento substancial da população que recebeu acima desta média. Ainda segundo o autor, é inegável que, apesar de o programa Bolsa Família apresentar-se como uma política pública efetiva, com base nos dados explicitados na estatística descritiva, a sua deficiência no possível aumento da clientela ou não relação das variáveis em estudo poderia comprometer a elevação de sua efetividade. Assim, a seguir, apresenta-se a análise das relações por meio da regressão de dados em painel.

Após, foram processados testes para verificar a consistência dos modelos de regressão múltipla (teste de Wooldridge de auto correlação serial, teste de Wald de heterocedasticidade e Fator de Inflação da Variância sobre a multicolinearidade) e verificou-se a presença de heterocedasticidade por meio do teste de Wald (Prob> Chi2 = 0,0000). Posto que a heterocedasticidade poderia comprometer as estimativas do modelo, foram reprocessadas as regressões com estimativas robustas visando corrigir este problema (Gujarati, 2006). Dos três modelos distintos de estimativas encontradas (MQG, EF, EA) nas regressões múltiplas robustas de dados em painel, optou-se por descartar as estimações por EF e EA, baseando-se nos seguintes argumentos:

1) As estimações por MQG foram mais consistentes em termos de coeficiente de determinação, significância e intensidade dos coeficientes das variáveis, validando assim pressupostos teóricos da investigação em curso;

2).Segundo Gujarati (2006), o modelo de estimação por EF é muito exigente em termos de demandar a criação de variáveis dummy para cada um dos 853 municípios da amostra, de forma a capturar a individualidade de cada um ao longo do tempo, o que aumentaria a possibilidade de multicolinearidade e reduziria os graus de liberdade;

3) O modelo de estimação por EA pressupõe que o intercepto de uma unidade individual é uma extração aleatória de uma população com valor médio constante. O intercepto individual (de cada município) é estimado com o seu desvio do valor médio constante, o que não aconteceu com os dados da investigação proposta (Gujarati, 2006).

A seguir apresentam-se os resultados da estimação e a análise de regressão múltipla:

O modelo de regressão alcançou capacidade de explicação ajustada de 37,10% do IGD-M a partir das variáveis quatro variáveis explicativas do modelo. Infere-se, portanto, que, do total de indicadores do programa, essas quatro variáveis são capazes de explicar aproximadamente 37% da variação do desempenho do programa (IGD-M). Contudo, cabe ressaltar que a relação entre as variáveis não é determinística, causal, mas sim de influência entre os indicadores do programa. Entende-se que esse resultado seja satisfatório, dado que o número de indicadores do Bolsa família é 20.

Todas as variáveis independentes apresentaram-se como significativas em relação dependente (desempenho de gestão - IGD-M) A variável comunicação interorganizacional apresentou Beta de 15,99 em relação ao desempenho IGD-M. Acredita-se que isso se deva ao fato de que o Cadastro Único, principal meio de comunicação entre os implementadores do Bolsa Família, é uma base para detecção das famílias e execução do programa, corroborando, assim, como os achados de Harland et al. (2004), Meter e Horn (1975), Saravia e Ferrarezi (2006) e Siman (2005). Assim, o aumento no número de cadastros em cerca de 16 pontos percentuais tem relação positiva com o aumento de uma unidade de desempenho do município.

Ao contrário do que foi levantado na literatura (Ferreira, 2016; Meter, Horn, 1975; Passone, 2013), que o esforço de execução ou capacidade administrativa dos implementadores influencia positivamente o desempenho da política pública, a relação entre o esforço de execução dos implementadores (eficiência na aprovação dos gastos) e o desempenho na gestão pública (eficácia no IGD-M) verificada nos dados foi negativa, com beta de -21,96, rejeitando a primeira hipótese levantada. Assim, infere-se que os municípios que apresentam maior desempenho no IGD-M não são, necessariamente, os que possuem melhor aprovação quanto à capacidade administrativa de aplicação de seus recursos, podendo haver uma divergência entre eficácia e eficiência nos critérios propostos pelo programa. Apesar de a média da variável “esforço de execução” apresentar-se próxima do limite superior (0,93), não se pode afirmar que o comprometimento dos implementadores com a eficiência da utilização dos recursos foi um aspecto decisivo no alcance do desempenho do programa, refutando as observações de Passone (2013) e Siman (2005) sobre o esforço de execução nas políticas públicas.

Sobre a rejeição da primeira hipótese do estudo, uma possível explicação para isso consta em Carvalho (2003). Segundo a autora, em muitas coordenações interinstitucionais inerentes às políticas existe a ausência de uma percepção integrada sobre os problemas sociais e suas raízes multicausais. A não observância de tal fato proporciona abordagens incompletas onde as ineficiências são esperadas. Sugerem que se deve promover uma autêntica coordenação interinstitucional, baseada em uma precisa distribuição de papéis e funções entre todos os atores envolvidos, de modo a obter condições favoráveis à realização de programas articulados, adequadamente focalizados, aplicados fundamentalmente a partir de instâncias locais e a partir de um efetivo protagonismo dos próprios atores, na sua qualidade de atores estratégicos do desenvolvimento (efetividade e eficiência) da política pública.

A segunda hipótese, relação negativa entre o grau de vulnerabilidade (percentual de famílias de baixa renda) e desempenho de gestão do programa, foi aceita. Para os dados em questão observou-se uma relação com beta de -0,0000293. Logo, um decréscimo da vulnerabilidade implica em melhor desempenho do programa. Tais resultados refutam as observações de Silva, Ferreira e Monteiro (2012) de que a quantidade de beneficiários influencia sobremaneira a qualidade e eficiência da gestão do PBF. Ainda, a descritiva dos dados longitudinais aponta que a média de famílias de baixa renda não diminuiu entre 2014 e 2017, pelo contrário, manteve-se a mesma média, ao passo que IGD-M médio aumentou, indicando que os esforços de gestão na implementação da política pelos municípios não foram suficientes para se alcançar a efetividade social do programa. Assim, refuta-se os resultados dos estudos de Cunha et al. (2004), Kaztman (2000), Oliveira (2009), Tavares (2003) e Yasbek (2004), nos quais os autores observaram que o desenvolvimento de políticas sociais reduziria o grau de vulnerabilidade da população atendida.

Sobre a terceira hipótese do estudo, constatou-se (Figura 3) que houve uma moderação positiva de 30,09% do percentual de alcance de recursos sobre a relação entre as condições socioeconômicas (percentual de famílias de baixa renda) e o desempenho de gestão. Tais resultados sugeriram a aceitação da terceira hipótese do estudo. Assim, a quantidade de recursos investidos contribui para a eficácia dos municípios, conforme estudos de Semzezem e Alves (2013) e Costa et al. (2018). Os recursos tiveram um percentual de mais de 30% de moderação, corroborando a ideia de que a diminuição dos níveis de vulnerabilidade social deve se dar a partir do fortalecimento dos sujeitos, pela disponibilização do acesso a bens e serviços públicos e investimentos. À medida que as políticas públicas investem recursos em uma região e alcançam seus objetivos, possibilitam uma estrutura socioeconômica com oportunidades de acesso aos recursos necessários à qualidade de vida de seus cidadãos.

Variáveis moderadoras interferem em uma relação de uma díade de variáveis (regressão simples). Essas relações de moderação foram aferidas no modelo exposto na Figura 3. Observou-se uma relação de moderação positiva entre a comunicação interorganizacional (porcentagem de cadastro do SUAS) e o desempenho no IGD-M. Assim, um aumento de esforços na variável moderadora comunicação interorganizacional (Taxa de Cadastro SUAS) influenciará positivamente a relação entre o esforço dos executores (Aprovação de Gastos) e o Desempenho no Programa (IGD-M). A relação corrobora tanto com o apontado na literatura (Coti-Zelati, Moori, 2015; Harland, Zheng, Johnsen, Lamming, 2004; Meter, Horn, 1975; Saravia, Ferrarezi, 2006; Siman, 2005) quanto com os objetivos do programa, que prioriza o cadastro e acompanhamento das famílias na avaliação do desempenho da gestão.

Esta moderação explicou 13,42% da relação entre o esforço dos implementadores e o desempenho de gestão, com beta de 48,95, confirmando a quarta hipótese do estudo. Coti-Zelati e Moori (2015) e Harland et al. (2004) apontam a comunicação interorganizacional como elemento essencial e integrador dos níveis dentro de uma política pública. Assim, o diálogo e as ações cooperativas entre os implementadores são elementos decisivos no alcance de objetivos com papel preponderante da comunicação interorganizacional. Outra explicação para a moderação da comunicação na relação entre o esforço de execução e o desempenho da política pública consta em Harland et al. (2004), Paulraj, Lado e Chen (2008), Goffin, Lemke e Szwejczewski (2006), autores que defendem que a comunicação deve ser aberta, frequente e equilibrada e que, para se ter uma indicação de uma relação interorganizacional bem estruturada, a comunicação se desenvolve em vários níveis entre os sujeitos participantes da política pública.

5 Conclusões

Por meio deste estudo buscou-se explicar o grau de influência da comunicação interorganizacional, das condições socioeconômicas, do esforço administrativo dos órgãos implementadores e dos recursos destinados sobre o desempenho do programa Bolsa Família. Os dados dos municípios mineiros apontam heterogeneidade de comportamento das variáveis analisadas e alto desvio padrão entre os municípios. Todas as variáveis explicativas analisadas foram significativas no modelo multivariado proposto. Em conjunto, estas variáveis explicam 37,10% do comportamento da variável dependente, o que é relevante dado o amplo número de indicadores que compõe o quadro de avaliação do programa Bolsa Família.

Verificou-se uma dicotomia entre a captação de recursos e a eficiência na comprovação de gastos na estrutura de execução do programa, Conselhos Municipais de Assistência Social [CMAS]. Acredita-se que este aspecto deva ser evidenciado em estudos futuros, testando se os municípios que possuem maior investimento em estrutura de execução do programa são os mais eficientes na aplicação desses recursos. Ainda, a amplitude dos dados e alto desvio-padrão ressaltam a importância de se realizar estudos comparativos das microrregiões do estado de Minas Gerais, em termos de avaliação de políticas públicas, a fim de evidenciar as similaridades entre e dentro dos dessas regiões, bem como o perfil dos outliers.

A primeira hipótese do estudo foi rejeitada, evidenciando que os municípios que apresentam maior desempenho no IGD-M não são, necessariamente, os que possuem melhor aprovação quanto à capacidade administrativa de aplicação de seus recursos, podendo haver uma divergência entre eficácia e eficiência nos critérios propostos pelo programa. A confirmação da segunda hipótese afirma a relação negativa entre vulnerabilidade social e desempenho em políticas públicas, como levantado na literatura. Sobre as moderações propostas na terceira e na quarta hipótese, ambas foram validadas, ratificando o potencial de explicação da variável comunicação interorganizacional na relação “esforço dos executores e desempenho de gestão”, bem como da variável denominada “recursos” sobre a relação “condições socioeconômicas e desempenho de gestão”.

Diante do exposto, verificou-se que o desempenho de gestão da política pública estudada é mais influenciado pela eficácia no alcance dos critérios do programa do que pela efetividade socioeconômica em si. Os resultados evidenciaram que, apesar do número de famílias vulneráveis não ter diminuído entre 2014 e 2017, o desempenho médio de gestão dos municípios aumentou ao longo dos anos.

Referências

Anderson, C. W. (1979) The place of principles in policy analysis. American Political Science Review, 73(3), 711-723.

Araujo, C. M., Boas, G. V. (2014). Políticas públicas e incubação de empresas: o caso do estado de São Paulo. Revista Ciências Administrativas, 19(2), 507-535.

Arretche, M. T. S. (2001). Uma contribuição para fazermos avaliações menos ingênuas. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP (p. 43-56).

Arsky, D. S. (2013). A integração do Programa Bolsa Família e da Assistência Social: um olhar sobre a gestão municipal do Programa. ENAP.

Carvalho, S. N. (2003). Avaliação de programas sociais: balanço das experiências e contribuição para o debate. São Paulo Perspec, 17(3-4), 185-197.

Castro, R. B. (2006). Eficácia, Eficiência e Efetividade na Administração Pública. Anais do Encontro da ANPAD. Salvador, BA, Brasil, XXX.

Chiechelski, S., Cesar, P. (2005). Avaliação de programas sociais: abordagens quantitativas e suas limitações. Textos e Contextos, 4(1), 1-12.

Cirino, J. F., González, A. M. G. O. (2011). A heterogeneidade do desenvolvimento econômico do estado de Minas Gerais. Revista de Ciências Humanas, 11(1), 9-23.

Costa, F. L., Castanhar, J. C. (2003). Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, 37(5), 969-992.

Costa, M. A., Santos, M. P. G., Marguti, B., Pirani, N., Pinto, C. V. S., Curi, R. L. C., Ribeiro, C. C., Albuquerque, C. G. (2018). Vulnerabilidade social no Brasil: Conceitos, métodos e primeiros resultados para municípios e regiões metropolitanas brasileiras. Texto para Discussão, IPEA.

Coti-Zelati, P. E., Moori, R. G. (2015). O Papel da Colaboração no Desempenho da Gestão da Cadeia de Suprimentos: Um Estudo sobre o Café Orgânico. Organizações Rurais e Agroindustriais, 17(2), 195-208.

Cotta, T. C. (2011). Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (Saeb). Revista do Serviço Público, 52(4), 89-111.

Cunha, C. G. S. (2006). Avaliação de Políticas Públicas e Programas Governamentais: tendências recentes e experiências no Brasil. Secretaria de Coordenação e Planejamento/RS.

Cunha, J. M. P., Jakob, A. A. E., Hogan, D. J., & Carmo, R. L. (2004). A vulnerabilidade social no contexto metropolitano: o caso de Campinas. Anais do Encontro Nacional de Estudos Populacionais, ABEP, Caxambú, MG, Brasil, XIV.

Cunha, R. E., Pinto, B. H. B. C. (2008). O Programa Bolsa Família como estratégia para redução da pobreza e os processos de cooperação e coordenação intergovernamental para sua implementação. Recuperado de https://ipcig.org/publication/mds/19M.pdf

Cury, A. (2006). Organização e métodos: uma visão holística. 8 ed. São Paulo: Atlas.

Estrella, J., Ribeiro, L. M. (2008). Qualidade da gestão das condicionalidades do Programa Bolsa Família: uma discussão sobre o índice de gestão descentralizada. Revista de Administração Pública, 42(3), 625-641.

Farias, C. T. (2010). Eficácia, eficiência e efetividade do programa bolsa família no município de Cruz do Espírito Santo/pb. CAOS. Revista Eletrônica de Ciências Sociais, Dôssie(15), 46-65.

Ferreira, V. R. S., & Medeiros, J. J. (2016). Fatores que moldam o comportamento dos burocratas de nível de rua no processo de implementação de políticas públicas. Cadernos EBAPE.BR, 14(3), 776-793.

Frey, K. (2009). Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e políticas públicas, 21(1), 211-259.

Galvarro, M. D. P. S. Q. S., Faria, E. R., Ferreira, M. A. M., & Souza, G. J. P. (2012). Desigualdades regionais na saúde no Estado de Minas Gerais. Revista de Administração Hospitalar e Inovação em Saúde, 8(8), 12-27.

Goffin, K., Lemke, F., Szwejczewski, M. (2006). An exploratory study of ‘close’ supplier–manufacturer relationships. Journal of operations management, 24(2), 189-209.

Gujarati, D. N., Porter, D. C. (2006). Dasar-dasar ekonometrika. Jakarta: Erlangga.

Harland, C. M., Zheng, J., Johnsen, T., & Lamming, R. (2004). A conceptual model for researching the creation and operation of supply network. British Journal of Management, London, 15(1), 1-21.

Instituto Brasileiro de Geografia e Estatística. (n.d.). Cidades. Recuperado em 25 fevereiro, 2018, de http://www.ibge.gov.br/cidadesat/default.php

Kaztman, R. (2000). Notas sobre la medición de La vulnerabilidad social. In Quinto Taller Regional sobre La Medición de la Pobreza: Métodos y Aplicaciones: documentos presentados (pp. 275-301).

Lei 8.742, de 7 de dezembro de 1993 (1993). Dispõe sobre a organização da Assistência Social e dá outras providências. Brasília, DF. Recuperado em 10 fevereiro, 2018, de http://www.planalto.gov.br/CCivil_03/Leis/L8742compilado.htm

Lowi, T. J. (1964). American business, public policy, case-studies, and political theory. World politics, 16(4), 677-715.

Lowi, T. J. (1972). Four systems of policy, politics, and choice. Public Administration Review, 32(4), 298-310.

Meter, D. S. V., & Horn, C. E. V. (1975). The policy implementation process: A conceptual framework. Administration & Society, 6(4), 445-488.

Monteiro, D. A. A. M. (2008). Alocação de recursos e eficiência na gestão do Programa Bolsa Família. Dissertação de Mestrado, Programa de Pós-graduação em Administração, Universidade Federal de Viçosa, Viçosa, MG.

O’Toole, L. J., Jr. (2003). Interorganizational relations in implementation. Handbook of public administration (p. 234-244).

Mendes, J. M. O. (2009). Social vulnerability indexes as planning tools: beyond the preparedness paradigm. Journal of Risk Research, 12(1), 43-58.

Oliveira, K. P. (2016). Implementação de políticas de gestão de pessoas do estado de Minas Gerais: uma análise das políticas avaliação de desempenho individual e certificação ocupacional. Tese de doutorado, Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil.

Passone, E. F. K. (2013). Contribuições atuais sobre o estudo de implementação de políticas educacionais. Cadernos de Pesquisa, 43(149), 596-613.

Paulraj, A., Lado, A. A., Chen, I. J. (2008). Inter-organizational communication as a relational competency: Antecedents and performance outcomes in collaborative buyer–supplier relationships. Journal of operations management, 26(1), 45-64.

Röth Deubel, A. N. (2006). Políticas públicas, formulación, implementación, evaluación. (3. a reimp). Bogotá: Ediciones Aurora.

Rua, M. G. (2012). Políticas públicas (2. ed. reimp.). Departamento de Ciências da Administração, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil.

Saravia, E., & Ferrarezi, E. (2006). Políticas públicas. Brasília: Enap (v. 2, pp. 91-110).

Secchi, L. (2010). Políticas públicas: Conceitos. Esquemas de Análise, Casos Práticos. São Paulo: Cengage Learning.

Semzezem, P., Alves, J. M. (2013). Vulnerabilidade social, abordagem territorial e proteção na Política de Assistência Social. Serviço Social em Revista, 16(1), 143-166.

Silva, A. A. P. (2009). Eficiência na alocação de recursos públicos e qualidade de vida nos municípios mineiros. Dissertação de mestrado, Universidade Federal de Viçosa, Viçosa, MG, Brasil.

Silva, A. A. P., Ferreira, M. A. M., Monteiro, D. A. A. (2012). Desempenho na Gestão Pública do Programa Bolsa Família sob a Perspectiva de Análise do Índice de Gestão Descentralizada (IGD). Desenvolvimento em Questão, 10(21), 211-241.

Silva, N. J. R, Beuret, J., Mikolasek, O., Fontenelle, G., Dabbadie, L., Martins, M. I. E. G. (2007). Modelo teórico de análise de políticas públicas e desenvolvimento: um exemplo de aplicação na piscicultura. Revista de Economia Agrícola, 54(2), 43-66.

Siman, A. M. (2005). Políticas públicas: a implementação como objeto de reflexão teórica e como desafio prático. Belo Horizonte: UFMG.

Souza, C. (2006). Políticas públicas: uma revisão da literatura. Sociologias, 8(16), 20-45.

Souza, C. (2007). Estado da arte da pesquisa em políticas públicas. Políticas públicas no Brasil. Rio de Janeiro: Fiocruz (pp. 65-86).

Tavares, L. (2003). O Programa Fome Zero. Rio de Janeiro: UERJ.

Torres, M. D. F. (2004). Estado, democracia e administração pública no Brasil. Rio de Janeiro: Editora FGV (224 p.).

Torres-Reyna, O. (2007). Panel data analysis fixed and random effects using Stata (v. 4.2). Data & Statistical Services, Priceton University.

Trevisan, A. P., Bellen, H. M. V. (2008). Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, 42(3), 529-550.

Yasbek, M. C. (2004). O programa fome zero no contexto das políticas sociais brasileiras. São Paulo em perspectiva, 18(2), 104-112.