1. INTRODUÇÃO

Os Estudos de políticas públicas apresentam o permanente desafio oriundo da complexidade causal típico das ciências sociais. Desenvolver análises por métodos quantitativos frequentemente não se mostra adequado ao contexto ou aos objetivos de pesquisa. Os usuais métodos de análises qualitativas, por sua vez, em geral por razões de viabilidade, demandam um estrito recorte de contexto e variáveis, o que torna o poder de generalização dos achados mais limitado do que se desejaria para produção de avanços teóricos significativos.

A propósito da relevância da análise comparativa para o estudo de temas da administração pública, Brans (2010) ressalta ser a comparação central ao método científico na ciência política. De modo geral, ela é central aos estudos sobre administração pública, em razão da necessidade de produzir achados de pesquisa com maior poder de generalização. Isto por meio da investigação sistemática de semelhanças e diferenças entre países e entre períodos históricos. Ela pode operar no sentido de investigar efeitos de distintos contextos sobre a estrutura e o comportamento organizacionais, e no reflexo destes sobre produção de diferentes resultados com impactos sobre a sociedade.

Com foco na produção de conhecimento sobre métodos comparativos que possam lidar com os desafios típicos da pesquisa em ciências sociais, este artigo tem por objetivo descrever e explorar a aplicabilidade e adequação do método multi value Qualitative Comparative Analysis (mvQCA) à pesquisa acerca de aspectos da implementação de políticas públicas.

Assim, por meio de método qualitativo do tipo análise de conteúdo, este texto aborda, mais especificamente, a aplicação do mvQCA na descrição de tipologia de coordenação inteorganizacional na implementação de programas públicos federais, considerando sua complexidade causal e diversidade de variáveis envolvidas.

A análise aqui empreendida investigou como o referido método viabilizou a utilização de estrutura analítica complexa utilizada para a descrição da coordenação interorganizacional na implementação de políticas públicas federais.

A referida estrutura analítica contempla cinco perspectivas de análise. São elas: a perspectiva estrutural; perspectiva de processos; perspectiva de desempenho; perspectiva de consistência da ação e a perspectiva política. Além disso, comtemplou ainda distintos contextos, atores e mecanismos de coordenação envolvidos no processo de implementação.

Para consecução do objetivo pretendido, aqui são exploradas as opções metodológicas que orientaram a condução do caso ora analisado, o qual constitui pesquisa relativa à caracterização da coordenação interorganizacional na implementação de programas públicos Federais. Assim, este artigo está organizado da seguinte forma: Após esta introdução, o item 2 apresenta o referencial teórico; o item 3 traz notas metodológicas; No item 4 são descritas as características da pesquisa no caso analisado, o item 5, por sua vez, discute o processo de seleção de casos, na sequência, o item 6 trata da operacionalização e resultados da pesquisa investigada e, por fim, o item 7 traz as considerações finais.

2. ANÁLISE COMPARATIVA APLICADA AO ESTUDO DA IMPLEMENTAÇÃO DE POLÍTICAS PUBLICAS

Sobre a adequação e utilidade do método comparativo como estratégia de pesquisa sobre políticas públicas, Peters (1998) esclarece que sua relevância reside no fato de que, no mundo real, a ação de governar e as próprias políticas são tão significantes que não permitem ao pesquisador manipular instituições ou legislações apenas para ver o que acontece, tal como é possível fazer em outros campos da ciência, por meio de métodos experimentais. A utilidade do método se destaca no sentido de viabilizar a pesquisa em áreas em que a experimentação não é uma opção disponível.

Do mesmo modo, Barzelay (2001) destaca o uso do método comparativo como adequado à pesquisa em administração e políticas públicas. Ele afirma que uma convergência no desenho da pesquisa poderia promover um rápido avanço da pesquisa nessas áreas. Isso particularmente na seleção de estruturas explicativas e na utilização de métodos comparativos.

O método comparativo envolve a investigação de múltiplas unidades de análise com o intuito de ressaltar diferenças e similaridades (Ragin, 1987). Por unidade de análise aqui se entende o que, ou quem, será comparado (individual ou coletivo / ação ou estrutura). No caso ora descrito, as múltiplas unidades de análise referem-se aos processos de coordenação interorganizacional das diferentes políticas públicas analisadas, os quais foram delineados por meio dos elementos da estrutura analíticas constantes da Figura 1.

Deste modo, é possível comparar casos por meio do método theoretical set proposto por Ragin (1987), a QCA propriamente dita, que contou com software denominado QCA inicialmente desenvolvido por Charles Ragin (1987) com o uso de álgebra booleana.

Posteriormente este software foi reformulado por Lasse Cronqvist (Cronqvist, 2019) e denominado TOSMANA (Tool for Small N Analysis). Nas versões recentes já foi viabilizada a utilização de variáveis ordinais/categóricas (multi-value minimization), como incremento à análise por meio de variáveis dicotômicas, bem como da apresentação da interface por meio de telas em formato Windows. Atualmente o método pode ser operacionalizado por diferentes Softwares como TOSMANA, fsQCA e pacotes QCA inclusos em softwares como o R e o STATA (Sandes-Freitas & Bizarro-Neto, 2015).

A QCA utiliza álgebra booleana para realizar a análise comparativa na base da presença ou ausência de condições que caracterizam determinado resultado da variável dependente (denominada outcome). O software reporta, por meio de equações lógicas, as configurações de condições necessárias e/ou suficientes para um dado resultado. O método permite flexibilidade em sua aplicação, vez que apresenta a versão crisp set Qualitative Comparative Analysis (csQCA) com variáveis dicotômicas, a versão multi value (mvQCA) que possibilita o uso de variáveis dicotômicas e categóricas e a versão fuzzy set (fzQCCA) com variáveis em escala intervalar (Ragin, 2000).

Dentro de uma visão estritamente metodológica, trata-se de identificar ordem na complexidade típica das ciências sociais e sua diversidade de casos. Para Ragin (1987), há duas formas possíveis de fazê-lo. A primeira diz respeito à tentativa de construção de tipologias empíricas úteis, cuja importância é o estabelecimento de limites de comparação, por meio da identificação de diferenças e similaridades entre casos.

A segunda forma de identificar ordem na complexidade visa obter as distintas combinações de múltiplas causas decisivas que apresentam os mesmos resultados em diferentes casos. Trata-se da utilização do método comparativo para apreender a ocorrência da equifinality ou multiple causality, situação em que diferentes arranjos de variáveis independentes (denominadas conditions) podem conduzir a um mesmo resultado em casos distintos (George & Bennet, 2005). Nesse sentido, a análise comparativa permite identificar a complexidade causal por meio da identificação de condições necessárias e/ou suficientes para um dado resultado (Sandes-Freitas & Bizarro-Neto, 2015).

A estrutura analítica delineada pela pesquisa objeto desta análise teve como finalidade estabelecer os aspectos que, em tese, compõem o caráter da ação coletiva coordenada com a finalidade de, como ponto de partida, constituir uma referência de comparação útil à compreensão da coordenação interorganizacional (Barbosa, 2010).

Cabe esclarecer que a estrutura analítica utilizada na condução da referida pesquisa constitui apenas uma simulação teórica, visto que a noção de estrutura aqui utilizada não se refere à realidade empírica como cópia fiel desta. Tal estrutura caracteriza um modelo simulacro, proposto para ser útil na explicação da realidade concreta como resultado da estrutura (Bruyne, Herman, & Schoutheete, 1993). Dito de outra forma, é uma tentativa de simplificar a realidade, representando-a em uma estrutura que não corresponde diretamente à realidade, mas caracteriza uma representação fidedigna e mais explicativa (Demo, 2000).

Assim, a estrutura analítica em discussão não possui, na sua proposição, a pretensão de ditar as relações entre seus elementos como fato incontestável, ao contrário, propõe-se a servir como instrumento norteador para as pesquisas empíricas que possam testar relações de dependência e causalidade e, assim, possibilitar avanços teóricos.

Como consequência dessa lógica de utilidade instrumental, as pesquisas empíricas decorrentes podem, até mesmo, indicar a falseabilidade da própria estrutura analítica em questão, cuja pretensão é de fato servir como ponto de partida, de modo a apontar falhas ou novas relações. Essa possibilidade de verificação é destacada como requisito da construção teórica que, em vez de se impor como verdade absoluta, mostra-se passível de verificação.

De acordo Barzelay (2001), a convergência na utilização de projetos de pesquisa estruturados de maneira similar e a seleção de seus quadros explicativos são benéficos ao desenvolvimento de pesquisas. Neste sentido, torna-se útil o desenvolvimento e aplicação de estruturas analíticas.

Para melhor compreensão da operacionalização do método mvQCA na construção de tipologias empíricas, faz-se necessário explorar em linhas gerais a ideia de estrutura analítica adotada para o estudo objeto desta análise. O referido estudo propôs, a partir de distintas perspectivas de análise, uma estrutura analítica para abordar o tema da coordenação interorganizacional e delinear as inter-relações entre suas perspectivas de análise. Isto no sentido de permitir o exame do encadeamento dos fatores que delineiam a coordenação interorganizacional na implementação de políticas públicas (Barbosa, 2010; Barbosa, 2016).

A abordagem do tema, a partir de uma estrutura analítica que envolva todas essas perspectivas, possibilita a visualização geral dos diversos aspectos condicionantes da coordenação interorganizacional, refletindo a complexidade da ação governamental.

Para melhor visualização do que constituiu a construção das variáveis e a respectiva análise operacionalizada pelo mvQCA, as abordagens e aspectos da constituição de arranjos interorganizacionais e ainda dos elementos que descrevem o caráter da ação coletiva coordenada, são apresentados em uma síntese, conforme Barbosa (2010) e Barbosa (2016), na Figura 1. Vale ressaltar que diversas combinações são possíveis na descrição da realidade da implementação de políticas públicas, conforme observa-se em estudo sobre capacidades estatais de Pires e Gomide (2016).

Figura 1
Estrutura Analítica da Coordenação Interorganizacional
Fontes: Barbosa (2010) e Barbosa (2016).

Tal como está proposta, a estrutura analítica considera que o contexto é uma dimensão das relações interorganizacionais, entendido como aspecto significativo e mensurável de algum objeto/fenômeno. As razões de constituição dos arranjos interorganizacionais para implementação, por sua vez, são observadas como aspectos do contexto e podem ser consideradas como uma variável condição (condition) em relação ao caráter da ação coletiva coordenada.

Os elementos (contexto, razões da constituição do arranjo interorganizacional e os tipos de atores) determinam as características de constituição do arranjo interorganizacional. Uma vez definidas, essas características condicionam as escolhas específicas relativas à forma do arranjo, direção, temporalidade, formalização e centralidade dos relacionamentos, bem como dos mecanismos operacionais da coordenação interorganizacional.

Considerado como elementos determinantes da coordenação interorganizacional, o contexto em que se estabelecem as relações e suas razões de constituição, bem como os tipos de atores envolvidos, em tese, podem ser combinados de diversas formas. As mencionadas razões de constituição dos arranjos são, no contexto hierárquico, a autoridade; no de mercado, a troca; no de associação solidária, o interesse comum; e, no político, a distribuição de poder e a acomodação de interesses.

Da combinação de possibilidades dos referidos elementos são decorrentes as opções relativas às perspectivas de análise da coordenação interorganizacional, quais sejam: as estruturas, os modos de integração vertical/horizontal, a temporalidade das relações, a centralização, a formalização, o gerenciamento das interdependências, a distribuição de competências, o acompanhamento do desempenho, a distribuição de poder, o modo de participação e, ainda, os mecanismos de coordenação pertinentes que, de forma conjunta, definem o caráter da ação coordenada coletiva (Barbosa, 2010; 2016).

Organizados em níveis, o primeiro elemento da estrutura analítica proposta destaca os contextos que influenciam a ação do arranjo interorganizacional, os quais podem ser de caráter hierárquico, de mercado, de associação solidária ou políticos. As relações interorganizacionais de interesse podem estar localizadas em um único contexto ou no limite entre eles, envolvendo características de mais de um contexto. As razões de constituição do arranjo são condicionadas pelo contexto em que está inserido.

No segundo nível da estrutura analítica, estão dispostas as variáveis que condicionam e determinam o caráter da coordenação interorganizacional, pois explicitam a integração vertical e/ou horizontal, os tipos de interdependência, a distribuição de competências e as eventuais redundâncias, lacunas e incoerências decorrentes disso na implementação de programas públicos, assim como o acompanhamento do desempenho, a distribuição de poder em relação à acomodação dos interesses dos distintos atores envolvidos e aos espaços de participação.

As demais variáveis deste segundo nível referem-se à temporalidade das relações – caracterizadas como dinâmicas ou estáveis –, à centralização ou não dos relacionamentos no interior do arranjo interorganizacional. As variáveis descrevem as estruturas e mecanismos de coordenação dos programas pesquisados (Barbosa, 2010; 2016).

A descrição da estrutura analítica, por fim, revela a complexidade do objeto de análise, o que constitui o aspecto mais relevante da análise do potencial da aplicação do mvQCA em pesquisa sobre implementação de políticas públicas.

3. NOTAS METODOLÓGICAS

Este artigo está embasado em estudo de caso que descreve e explora a aplicabilidade e adequação do método multi value Qulitative Comparative Analysis (mvQCA) na construção de tipologias empíricas em pesquisa acerca de aspectos da implementação de políticas públicas. Isso por meio de análise qualitativa do tipo análise de conteúdo.

Conforme já mencionado na introdução, o interesse que motiva esta análise é a produção de conhecimento sobre métodos comparativos que possam lidar com os desafios típicos da pesquisa em ciências sociais,

Neste sentido, a escolha do caso analisado justifica-se pela presença dos seguintes critérios: a) foco na análise de aspecto da implementação de políticas públicas; b) utilização de método comparativo qualitativo, com emprego da metodologia mvQCA, caracterizando assim pesquisa aplicada.

Para consecução da análise de conteúdo, foram selecionados para descrição e discussão os principais aspectos metodológicos que orientaram a condução do caso ora analisado, de modo a viabilizar a análise da aplicabilidade, limites e potencialidades do método mvQCA em relação a cada um deles. Os aspectos analisados referem-se a: i) características da pesquisa; ii) Engenharia da tipificação e seleção de casos; iii) operacionalização de variáveis; iv) instrumentos da pesquisa; v) estratégia de levantamento e construção da base de dados; vi) descrição da tipologia em bases empíricas; vii) Resultados obtidos pela análise dos dados.

4. CARACTERÍSTICAS DA PESQUISA OBJETO DO ESTUDO DE CASO

A pesquisa, objeto desta análise, desenvolvida com auxílio do método QCA foi de caráter exploratório e descritivo, cuja finalidade foi fornecer uma visão geral do tema e ainda propor bases e direções para futuras pesquisas. Por meio dela, foi delineada uma visão geral da coordenação interorganizacional na implementação de programas públicos federais a partir de uma estrutura analítica estabelecida em bases teóricas com cinco distintas perspectivas componentes (Barbosa, 2016). O caráter exploratório também se refere ao fato de que esse tema, na experiência brasileira de implementação de programas públicos federais, permanece pouco explorado, ao menos como tema central de pesquisa.

Quanto ao alcance temporal, a pesquisa foi de natureza seccional, pois focalizou um período definido, delimitado pelo período de implementação de programas públicos na vigência do PPA 2004 a 2007, de acordo com premissas e critérios da pesquisa.

Sobre a natureza e fontes da evidência, observa-se que se trata de aplicação do mvQCA em pesquisa cujo caráter de evidência é qualitativo. A pesquisa utilizou uma combinação de fontes de evidência que incluíam tanto dados primários quanto secundários. Os dados primários foram levantados por meio de questionários (como instrumento principal), entrevistas semiestruturadas e contatos telefônicos devidamente registrados, já os dados secundários foram obtidos por meio da análise documental, sobretudo de relatórios de gestão, relatórios de avaliação, bases de dados do portal da transparência do governo federal e do Sistema SIGA do Senado[1].

5. ENGENHARIA DA TIPIFICAÇÃO E SELEÇÃO DE CASOS

No contexto da análise acerca da implementação de políticas públicas, destaca-se que a pesquisa investigada adotou como unidade de análise a interorganizacional para implementação de programas públicos. Para observar o fenômeno de interesse, consideraram-se dois tipos de casos. O primeiro, utilizado na análise comparativa, refere-se a experiências de coordenação interorganizacional no âmbito da implementação de programas públicos federais de caráter finalístico. O termo “finalístico” é entendido como “voltado à entrega de bens e serviços diretamente à sociedade” (BRASIL, 2004b) e compreende um “conjunto de ações orçamentárias e não orçamentárias, suficientes para enfrentar problema da sociedade, conforme objetivo e meta”^[2] . Isso porque, dada a presumida amplitude das ações desse tipo de programa, esperava-se que esses programas envolvessem maior número e maior variedade de arranjos interorganizacionais.

No decorrer da pesquisa, a definição de caso foi refinada. Cada caso utilizado na análise comparativa mvQCA representou uma experiência de coordenação de dada ação dos programas selecionados. Esse refinamento se deu em razão de ter sido observado que programas têm seu modo de gestão organizados e são implementados por meio de suas ações componentes.

Para a pesquisa objeto dessa análise, foram inicialmente escolhidos, como fonte de casos potenciais, 24 programas no âmbito dos prioritários no PPA 2004-2007, os quais foram reduzidos a dezesseis em função das respostas obtidas aos questionários. Desta forma, a análise comparativa contou com trinta casos de experiências de coordenação relativos a esses programas.

O número de experiências de coordenação observadas e o número de programas pesquisados, bem como sua natureza social, foram, por fim, determinados em função das respostas obtidas por meio dos questionários direcionados a diferentes atores envolvidos nos arranjos interorganizacionais para implementação de programas públicos, incluindo órgãos e entidades dos governos federais, estaduais e municipais e ainda do terceiro setor. Observou-se que não foram obtidas respostas de representantes da iniciativa privada, contudo informações sobre sua participação constam dos dados obtidos de questionários dos demais respondentes e ainda das entrevistas e da pesquisa documental.

Os critérios de escolha dos casos se referem a experiências de coordenação de programas priorizados em função do plano de desenvolvimento do país. Tais critérios relacionaram-se à presença de complexidade interorganizacional em função da diversidade da composição dos membros do arranjo de implementação.

O segundo tipo de caso se refere aos programas públicos componentes da pesquisa, os quais foram utilizados em estratégia complementar de estudo de casos, de modo a ampliar a compreensão do fenômeno, por meio da análise de dados, que se referem não somente à experiência de coordenação interorganizacional, mas ao processo de implementação dos programas como um todo, do qual faz parte a coordenação interorganizacional.

6. OPERACIONALIZAÇÃO DA PESQUISA

De acordo com o relato metodológico da pesquisa ora analisada, a complexidade do objeto de análise exigiu, em sua abordagem, a adoção de duas estratégias complementares de pesquisa. A primeira, e principal, foi o estudo comparativo e a segunda, e complementar, o estudo de múltiplos casos. Isto para, de forma robusta, descrever a caracterização da coordenação interorganizacional na implementação de políticas públicas federais e apontar possíveis variáveis ou configurações de variáveis relevantes para o sucesso da implementação.

Observa-se que a opção de utilizar estratégia complementar foi feita em razão de ter sido constatado que os programas públicos são organizados e implementados por meio de um conjunto de ações, pois são as ações concretas que conferem operacionalidade aos programas e às políticas públicas por eles compostas^[3]. É na condução dessas ações que se desenvolvem os processos de coordenação interorganizacional na implementação dos programas públicos. O objeto de interesse foi, então, composto pelos processos de coordenação interorganizacional vistos por seus distintos atores.

Como proposto no projeto da pesquisa, em estágio posterior ao estabelecimento da estrutura analítica em bases teóricas, foi possível investigar e descrever o caráter da coordenação interorganizacional observada na implementação dos programas componentes do estudo.

Dessa forma, a estratégia comparativa utilizada no caso da aplicação investigada envolveu três etapas: a) a identificação de aspectos da coordenação na implementação de ações de um número específico de programas públicos federais; b) a análise comparativa dos múltiplos casos com a estrutura analítica elaborada em bases teóricas para construir a descrição de casos por variáveis observadas em bases empíricas e, então; c) a comparação dos casos entre si por meio da mvQCA.

A etapa de descrição (estudo) dos múltiplos casos configurou-se como estratégia complementar, no sentido de obter diversidade de dados relevantes ao processo de implementação, sendo os próprios programas os casos de interesse nessa etapa. Partiu-se da premissa de que características dos programas e ações específicas afetariam o processo de sua coordenação e contribuiriam para a interpretação dos resultados obtidos com respeito a esses processos.

O esquema conceitual que estruturou todo o trabalho de coleta e análise dos dados encontra-se detalhado na descrição da estrutura analítica constante em Barbosa (2016), bem como conta com estrutura de códigos de indicadores de conceitos[4]. Essa estrutura analítica viabilizou tanto o foco em variáveis quanto o foco em casos próprios da análise QCA.

6.1 Operacionalização das variáveis

Foram definidas nove variáveis condition, que descrevem caráter da coordenação interorganizacional, e uma variável resultado outcome, sendo que esta última teve parâmetro intencionalmente fixado. A estrutura analítica também serviu como base para a elaboração dos códigos utilizados no processo de análise documental e de entrevistas relativas a cada um dos casos estudados.

Como a pesquisa foi desenvolvida em torno da implementação de programas públicos federais, o formato do arranjo interorganizacional foi fixado como do tipo programa, de modo que o formato dos arranjos de coordenação interorganizacional não consta das perspectivas de análise ou do rol de variáveis investigadas.

Na sequência, as variáveis da pesquisa caracterizadas como não dicotômicas, e com possiblidade de ocorrência de distintos valores de modo simultâneo em um mesmo caso, foram transformadas em várias variáveis dicotômicas que indicam a presença ou ausência de cada possível valor da variável. Como exemplo dessa lógica operacional, tem-se que a variável razões de constituição do arranjo foi convertida em sete variáveis categóricas que indicam a presença ou não de cada um de seus possíveis valores nos arranjos interorganizacionais pesquisados.

É essencial esclarecer também que nem todas as variáveis componentes da análise comparativa foram definidas como variáveis dicotômicas. Algumas delas foram convertidas em variáveis categóricas, que assumem valores codificados de 1 até 5. Tal conversão só foi possível no caso de variáveis com distintas opções de valores excludentes. Esses procedimentos, que caracterizaram a combinação do método csQCA e mvQCA, ocorreram em função das exigências e disponibilidades operacionais do método QCA e do respectivo software empregado na análise, o qual é descrito em seção 6.4.

Assim, as variáveis condições foram:

V1 – contexto (hierárquico, mercado, associação solidária, político);

V2 – razões de constituição do arranjo (autoridade, meta comum, superação da fragmentação, troca, economia de escala, otimização de resultado, objeto comum);

V3 – atores (governamentais, políticos, privados e da sociedade civil organizada);

V4 – temporalidade das relações (estáveis, dinâmicas);

V5 – direção dos relacionamentos (verticais, horizontais);

V6 – centralidade das relações (centralizadas, descentralizadas);

V7 – formalização (alta formalização, baixa formalização);

V8 –espaço de participação (democrático, participação restrita);

V9 – distribuição de poder (concentrado, difuso);

Variável outcome:

V10 – resultado (implementação satisfatória / não satisfatória);

Neste ponto, é necessário esclarecer que a variável outcome, anteriormente mencionada, faz referência ao resultado de implementação do programa público, definida como variável dicotômica, que expressará se os resultados do programa atingiram, satisfatoriamente, as metas de implementação durante o período estudado, conforme dados do relatório de avaliação do Ministério do Planejamento.

Observou-se que a compreensão de resultado do programa no caso pesquisado está relacionada ao alcance das metas do programa, e não aos impactos deste, uma vez que se trata de uma avaliação do processo de implementação de programas públicos, e não dos programas em relação às mudanças provocadas pela intervenção na realidade sobre a qual atuam (DRAIBE, 2004).

Destaca-se que, para efeito do estudo comparativo, os valores dicotômicos desta variável foram arbitrados da seguinte forma: resultados iguais ou superiores ao cumprimento de 80% de metas físicas foram considerados satisfatórios (sucesso) e os inferiores a 80%, não satisfatórios (insucesso), considerando mecanismo de gradação elaborado e aplicado pela Secretaria de Planejamento e Investimento Estratégico do Ministério do Planejamento.

Esse extenso conjunto de variáveis, de fato, caracteriza a complexidade própria das ciências sociais e representou desafio à capacidade do método mvQCA para sintetizar tanto as condições presentes e comuns nos casos de sucesso da implementação, quanto aquelas presentes nos casos de insucesso.

A capacidade de lidar com esse significativo volume de variáveis denotou a plasticidade e robustez do método, vez que, conforme se observa das análises e dos resultados da pesquisa, as diversas análises, inclusive as parciais com subconjuntos de variáveis de cada perspectiva de análise componente da estrutura analítica, foram viabilizadas com resultados coerentes e consistentes entre si.

Também merece destaque o fato de que método foi capaz de lidar com variáveis qualitativas que caracterizam distintos aspectos do processo implementação de políticas públicas de uma só vez.

6.2 Instrumentos da pesquisa

Como instrumentos de coleta de dados, foram utilizados um questionário, um roteiro de pesquisa documental, um roteiro de entrevista semiestruturada, um formulário de registro de contatos telefônicos e planilhas[5] com previsão/execução orçamentária (vide Anexo A em Barbosa (2010).

Essa diversidade de instrumentos foi utilizada da seguinte forma: os dados obtidos por meio do questionário viabilizaram a construção da matriz que serviu à análise comparativa; já os dados da pesquisa documental, dos contatos telefônicos, entrevistas e planilhas com previsão/execução orçamentária propiciaram informações adicionais para esclarecer os achados da análise comparativa e insumos para a interpretação deles.

O questionário mencionado[6] foi elaborado a partir dos conceitos da estrutura analítica e aplicado em meio eletrônico, utilizando o guia livre do governo eletrônico e software PHP Surveyor para desenvolvimento do questionário e geração do banco de dados.

O banco de dados obtido, por sua vez, foi exportado em planilha Excel compatível para uso com o TOSMANA (Tool for Small N Analysis), software de análise comparativa desenvolvido por Lasse Cronqvist, disponível em: www.tosmana.net/.

Para construção desse banco, cada uma das perguntas do questionário, exceto as de identificação, elaboradas a fim de obter dados sobre as variáveis da pesquisa, constituiu uma ou mais colunas do banco de dados, já que algumas variáveis foram transformadas em dicotômicas.

Os dados secundários coletados por meio de pesquisa documental, por sua vez, foram submetidos a processo de codificação de indicadores por meio de uma estrutura de códigos relacionados aos conceitos fornecidos pela referência teórica (MILES; HUBERMAN, 1994). Do mesmo modo, os dados das entrevistas foram organizados por meio de folhas auxiliares de codificação de dados[7].

Os códigos funcionam como rótulos para indicar significados dos dados qualitativos coletados durante a pesquisa e caracterizam uma teia conceitual com definições operacionais que inclui os significados mais importantes e suas características constitutivas [8]. Esse processo permitiu a construção da matriz de dados conforme os requisitos do mvQCA.

Foi interessante observar que o esforço de codificação dos dados qualitativos teve múltiplas utilidades, vez que as definições apresentadas nas tabelas de códigos serviram também de suporte aos respondentes no momento do preenchimento do questionário, pois foram apresentadas em campo específico de ajuda. Do mesmo modo, os códigos de indicadores de conceitos foram úteis na organização e análise dos dados.

Em relação aos instrumentos de coleta de dados, nota-se que o método mvQCA admitiu e beneficiou-se da diversidade de fontes de dados qualitativos, que foram transportados para a matriz em forma de códigos dicotômicos ou categóricos.

É relevante destacar que a complexidade do processo de coleta de dados acima descrito não constitui requisito do método. Adicionalmente, observa-se como ponto positivo que a base de dados pode ser tanto importada dos questionários eletrônicos, quanto alimentada manualmente pelo software, com inserções de dados da pesquisa documental complementar, o que possibilita a diversidade de fonte de evidências.

6.3 Método mvQCA e a descrição de tipologia empírica

Como consequência da adoção de duas estratégias de pesquisa combinadas, também a análise de dados foi feita de duas formas distintas e complementares. A primeira forma envolveu a análise dos dados do questionário, que descrevem cada caso, por meio do mvQCA. A segunda forma implicou a análise de dados do estudo de casos por meio da pesquisa documental, entrevistas e contatos telefônicos, conforme se descreve a seguir (vide quadro de relacionamentos entre perspectivas de análise, variáveis e fontes de dados na Figura 2).

A primeira forma de análise envolveu a utilização do software TOSMANA na análise qualitativa comparativa, para obtenção de equações lógicas[9] que apresentam as condições necessárias ou suficientes para um determinado resultado selecionado pelo pesquisador (sucesso ou insucesso na implementação).

O momento inicial da aplicação do método se refere à descrição da coordenação interorganizacional de cada caso por meio da comparação do caso com a estrutura analítica, ou seja, a caracterização de condições presentes em cada caso em termos de valores dicotômicos ou categóricos para cada variável da estrutura analítica obtidos nas respostas ao questionário. Em seguida, compararam-se os casos por meio do método theoretical set proposto por Ragin (1987), a QCA propriamente dita. O método utiliza álgebra booleana para realizar a análise comparativa na base da presença ou ausência de condições que levam a determinado resultado da variável outcome. O QCA reporta, por meio de formulações lógicas, as configurações de condições necessárias e/ou suficientes para um dado resultado

O método aplicado na pesquisa explorou as versões csQCA e mvQCA, este último suporta tanto a utilização de variáveis nominais dicotômicas típicas do csQCA quanto as ordinais ou categóricas codificadas e consiste em construir uma matriz em forma de tabela verdade, na qual as variáveis nominais independentes (conditions) são alinhadas em colunas, assim como a variável dependente (variável outcome).

A tabela então expressa a combinação de condições de cada caso e seu respectivo resultado associado. Assim, cada caso é expresso em uma linha de modo que as condições presentes ou ausentes (variáveis condition) sejam apresentadas em colunas, assim como o resultado (variável outcome) associado a cada caso específico. A partir dos dados da pesquisa e da utilização do software TOSMANA, específico para análises comparativas, foi possível fazer comparações fixando-se a variável resultado e as variáveis condições. Ressalta-se que o software utilizado nesta pesquisa permite que, a critério do pesquisador, qualquer das variáveis seja indicada como variável resultado e as demais como variáveis condição.

Embora o QCA inicialmente tenha sido direcionado para análises de poucos casos (inicialmente idealizado para um número entre 5 e 50), a apresentação do TOSMANA (TOSMANA, 2) ressalta que o software possibilita análises comparativas em estudos que envolvam elevado número de variáveis e vários N (número de casos, que no estudo objeto de análise representam experiencias de coordenação nos distintos casos).

Como o estudo envolveu trinta casos de experiências de coordenação interorganizacional na implementação de ações de dezesseis programas públicos federais (N-30), com utilização de dez variáveis originais transformadas em 38 variáveis indicadoras dicotômicas ou categóricas, o método se mostrou plenamente aplicável, tanto em relação à confiabilidade dos achados quanto em relação aos objetivos da pesquisa.

É importante observar que a análise comparativa viabilizada pelo TOSMANA, caracterizada como método de análise qualitativo, dá-se em termos lógicos e não aritméticos, pois a álgebra booleana permite estabelecer que combinação de distintas condições pode levar a um mesmo resultado. Dessa forma, o método se revela como instrumento útil à investigação da complexidade causal de um dado fenômeno (Ragin, 1987).

Uma situação plausível, considerado um número grande de casos e variáveis, é a obtenção de equações longas e complexas para as quais é necessária a minimização lógica ou ainda a minimização viabilizada pela aplicação do conceito de prime implicant utilizado por Ragin (1987), como uma expressão booleana que implica outra, caso um membro do segundo termo seja um subconjunto do primeiro[10].

A respeito da utilização dos prime implicants, o software TOSMANA possibilita análises com seleções automáticas de prime implicants, além de dar opção para escolhas do próprio pesquisador para a construção das equações lógicas dos resultados da análise.

Por fim, a análise booleana permite observar que condições ou somatório de condições são diferenciais para determinados resultados e, dessa forma, permite estabelecer, em função das similaridades e diferenças, padrões ou tipos de configurações de condições. Neste estudo, padrões ou tipos de coordenação interorganizacional encontrados nos casos pesquisados. Portanto, torna possível constituir uma tipologia descrita em bases empíricas, por meio da identificação das distintas configurações de variáveis que levam ao mesmo resultado.

Esse modo de construção de tipologia possibilitada pelo método QCA é, como informa Ragin (1987), sustentada na ideia de property space desenvolvida por Lazarfeld em 1937 e elaborada por Barton (1955), na qual os tipos são propostos em função de combinações de seus atributos componentes.

Na aplicação do método, as variáveis condition operaram como atributos, e as combinações específicas da presença ou ausência de cada atributo em cada caso determinam tipos específicos associados a um dado resultado que podem se repetir ao longo das análises de vários casos.

Assim, foi possível explorar as relações entre os atributos que descrevem a coordenação interorganizacional e os resultados de implementação da política pública constantes dos relatórios periódicos de avaliação referentes ao cumprimento de metas (dados secundários). Esclarecer e corroborar essas relações foi tarefa empreendida na segunda forma de análise, conforme descrito a seguir.

Como mencionado anteriormente, foram desenvolvidas duas formas de análise complementares. A segunda forma de análise diz respeito aos estudos de casos sobre os programas públicos para os quais se obtiveram dados relativos às experiências de coordenação interorganizacional na sua implementação. Nesse sentido, o estudo previu a utilização de estrutura de códigos relacionados aos conceitos da referência teórica, com identificação dos indicadores desses conceitos[11]. Tais indicadores permitiram identificar, entre os dados coletados em pesquisas documentais e em contatos telefônicos com implementadores, aqueles relacionados ao tema da pesquisa e lhe atribuir significado dentro do contexto pesquisado.

Para ordenação e análise dos dados qualitativos da pesquisa documental, foram desenvolvidas folhas de sumário[12]. Nestas folhas, as informações são isoladas e codificadas para possibilitar a análise dos dados.

O mérito do exame qualitativo é, sobretudo, viabilizar um processo de triangulação dos dados coletados por métodos distintos, neste caso, o questionário, a pesquisa documental e entrevistas. O propósito desse processo é corroborar as conclusões através da comparação das evidências fornecidas pelas diferentes fontes de coleta de dados, no sentido de construir a confiabilidade da pesquisa e de suas conclusões (Miles & Huberman, 1994).

Finalmente, o método implicou a comparação de cada caso com a teoria e a comparação entre os casos, o que caracteriza a opção pela análise comparativa de múltiplos casos. A opção por essa estratégia de pesquisa visa ao incremento da generalização de seus achados e, ainda, à obtenção de descrições mais sofisticadas com explicações mais robustas, por meio da visão dos processos e seus resultados em múltiplos casos (Miles & Huberman, 1994).

Figura 2
Perspectivas variáveis e fontes de dados

Em linha gerais, de acordo com o caso objeto deste estudo, o processo de análise via software TOSMANA consiste em selecionar a variável identificação, as variáveis conditions e a variável outcome.

Após essas definições em termos de variáveis, é possível solicitar que seja explicada a alternativa selecionada da variável outcome (0 ou 1 ou valores categóricos), excluindo ou não contradições, casos sem valor de entrada na variável outcome (missing outcome) e remanescentes lógicos (remainders). Os últimos cumprem função especial na análise, pois são utilizados para obter maior parcimônia nos resultados das equações lógicas, quando necessário. Sua utilização importa em efetuar a minimização, incluindo remanescentes lógicos, que, embora não sejam configurações de condições presentes nos casos pesquisados, são configurações de condições que, em termos lógicos, também configuram o resultado que se deseja explicar e, por conseguinte, reduzem mais ainda as condições que explicam o resultado selecionado (Rihoux & Meur, 2008).

Cabe destacar que, aparentemente e como era de se esperar, em um cenário de diversidade de casos com numeroso conjunto de variáveis a parcimônia pode ser afetada a ponto de variáveis diferenciais se tornarem menos nítidas. Desta forma, o recurso dos remanescentes lógicos se mostrou especialmente útil para obtenção de equações equilibradas no que ser refere à apreensão da complexidade e indicação de diferenciais mais nítidos.

Feito isto, solicitam-se os resultados e o programa, então, apresenta relatório com a indicação das possibilidades de somatório de condições que explicam o resultado indicado na opção explique resultado 0 ou 1 (explain outcome) (vide Apênidce A).

O relatório traz, então: o valor da minimização para o caso de sucesso na implementação (no exemplo, valor 1 da variável outcome); a relação de variáveis que fizeram parte da análise; a tabela verdade reduzida com a indicação de casos cujos dados são iguais em toda a linha e apresenta, ainda, o resultado por meio de expressão em álgebra booleana.

Cabe observar, ainda, que é possível realizar os mais diversos tipos de comparação de acordo com a seleção do tipo e número de variáveis para a análise. A pesquisa reportou também análises parciais com os conjuntos de variáveis de cada uma das perspectivas da estrutura analítica, além da análise contendo todas as variáveis,

6.4 Resultados obtidos via método QCA no caso estudado.

Em sua seção de análise de resultados, a pesquisa destaca que a análise comparativa via MvQCA, apontou que a perspectiva política é indicada como diferencial para o sucesso da implementação. Isto considerando todo o conjunto de variáveis. Os resultados sugerem a relevância das variáveis que compõem a perspectiva política em especial as que descrevem as relações no processo de tomada de decisão (BARBOSA, 2010; 2016).

Na explicação do sucesso da implementação resultante da análise com todas as variáveis (vide apêndice A), a equação resultado (abaixo transcrita) apontou como condições de sucesso a presença das relações com gerentes de programa dos tipos “troca de informações e decisões conjuntas” ou relações com coordenadores de programa dos tipos “relação de subordinação e relações de troca de informações” ou a presença de alguma discricionariedade no processo decisório.

Equação resultado (considerando todas as variáveis e outcome sucesso)

Result: (all)

Rel Gerte{3,4,6} + Rel coordor {1,3} + proc decis{1,3} + Dec e Neg{1}

No teste de verificação de robustez dos achados, a análise do resultado oposto (insucesso na implementação) sinalizou, de modo coerente, a ausência de participação e de compartilhamento de poder, estão presentes na explicação do insucesso. Nessas combinações estão presentes as seguintes condições: relação de subordinação e ausência de relações com os gerentes de programas, ausência de discricionariedade na distribuição de recursos, ausência de mecanismos de coordenação dos tipos mecanismos de decisão e negociação e unidades e funções de coordenação, bem como a ausência de influência de grupos de interesse.

Ressalta-se que as nuances do método quanto a condições necessárias e suficientes apontam que a influência de grupos de interesse não constitui fator de sucesso, mas sua ausência associada à ausência de relações com os demais implementadores estão presentes na explicação do insucesso. Nos poucos casos em que foi reportada a influência de grupos de interesse, sua ocorrência está na indicação de beneficiários ou alocação de recursos financeiros.

Esta situação permite observar que a explicação do resultado está em combinações de condições, e não na presença ou ausência de uma condição isolada. Desta forma o método demonstra sofisticação ao lidar com a complexidade causal (combinações de condições), com resultados coerentes e plausíveis.

Ainda na explicação do insucesso na implementação, a análise comparativa aponta a baixa participação pela ausência tanto de relacionamentos quanto de mecanismos de coordenação que viabilizem tal participação, bem como, a ausência de discricionariedade no processo decisório como decorrência da baixa participação dos demais implementadores no processo de coordenação interorganizacional da implementação.

Os dados da mencionada pesquisa indicaram haver, naquele momento, baixa interação entre o nível federal e os demais implementadores, sobretudo com o nível municipal. Contudo, os achados da pesquisa apontam como relevantes os aspectos de participação na explicação do sucesso da implementação. A tarefa de explicar essa aparente contradição foi endereçada a estudos futuros

De todo modo, um esforço analítico com base em referência téorica indicou que tal situação pode estar relacionada a um movimento de expansão democrática, no sentido da construção de uma participação social mais consistente apontada por Frey (2000), considerando que a mencionada participação não é ainda algo consolidado, mas está em um movimento, ainda assim as indicações da sua relevância já são evidenciadas na análise comparativa dos dados da pesquisa.

A caracterização da coordenação interorganizacional na implementação de programas públicos sociais no Brasil descreve um modelo de gestão notadamente baseado na autoridade, típico de contextos hierárquicos. Como apontam os resultados da análise, isso decorre das instituições que formalizam o modo de operação governamental - ou seja por determinações constitucionais, diretivas ou operacionais, bem como por determinantes legais e infralegais- as quais definem por exemplo a estrutura formal de coordenação dos planos, políticas e programas Nacionais (BARBOSA, 2010 e 2016).

Na perspectiva estrutural, a coordenação interorganizacional foi caracterizada pela complexidade de relações tipicamente formalizadas. Ela foi também descrita como de caráter estável com estrutura vertical, embora estivessem presentes alguns traços de horizontalidade nos arranjos interorganizacionais e de dinamismo ou mesmo instabilidade nos arranjos que conferem autonomia a governos estaduais ou locais para aplicação dos recursos em projetos.

Nas diferentes combinações de variáveis utilizadas na análise, os aspectos estruturais não se mostraram diferenciais. De todo modo, a análise não sinaliza que possam negligenciados, o que os coloca na condição de requisitos mínimos para o bom funcionamento da implementação.

A respeito da perspectiva de processo, a análise comparativa apontou como termos comuns da coordenação o gerenciamento de interdependências paralelas e sequenciais, coordenadas por planos e padronização, coerentemente ambientadas em um acentuado contexto hierárquico e formalizado.

Além disso, os resultados indicaram que, no processo de implementação, permanecem a ser mais visivelmente exploradas as interdependências recíprocas, comumente encontradas em contextos de associação solidária as quais, ao mesmo tempo em que, de acordo com a literatura internacional, podem oferecer ganhos de sinergias, provavelmente demandariam maior esforço de coordenação interorganizacional.

A parir do contexto mais amplo, o estudo esclarece que o quadro da coordenação, do ponto de vista dos processos, pode estar associado a continuidade dos padrões de implementação ao longo do tempo, no estabelecimento das políticas públicas como sistemas, as quais partilham estruturas comuns, como as relativas a trabalho, saúde e educação. Tais são padrões potencialmente modificáveis gradativamente, a longo prazo, por pressões externas relacionadas ao conteúdo e desempenho da implementação.

A análise comparativa na análise da perspectiva do desempenho denotou o que existiam diretrizes para o desempenho, definidas a partir de indicadores e metas a serem atingidas. No entanto, a coordenação interorganizacional nesta perspectiva permaneceu incipiente em função de um monitoramento ainda frágil, que assume feições muito mais de controle ex ante e ex post, do que de uma coordenação que proporciona ajustes concomitantes do desempenho por meio de um monitoramento efetivo.

Adicionalmente, destaca-se que, além de ser uma experiência relativamente recente no Brasil, a inflexão verificada no PPA 2012/2015, a qual extingui a obrigatoriedade de metas, contribui para a percepção de que a prática de ações estatais orientadas por desempenho ainda não está consolidada.

Por fim, o emprego da QCA na análise da coordenação interorganizacional na perspectiva de consistência da ação estatal é perceptível. Embora aparentemente opere muito mais no âmbito institucional. Neste sentido, os dados da pesquisa sugerem que os indícios de lacunas, incoerências e sobreposições relacionadas aos programas públicos federais constituem falhas cujas origens estão em arranjos institucionais.

Reitera-se aqui a relevância do contexto político na coordenação interorganizacional da implementação. A participação e da necessidade de acomodação de interesses, além de apontar esse tipo de falhas, desencadeiam negociações no sentido de corrigi-las por meio de ajustes institucionais.

No sentido de explorar o emprego da mvQCA na análise exaustiva dos elementos da estrutura analítica tal como proposta na Figura 1, a seguir são descritos os achados quanto aos mecanismos de coordenação na implementação de programas públicos federais.

As equações lógicas resultantes da mvQCA apontaram como relevantes para o sucesso da implementação a presença de mecanismos de decisão e negociação, de assessoria comum ou os sistemas de planejamento e sistemas de informação, embora não sejam nenhum deles isoladamente necessários ou suficientes.

Por sua vez, a explicação do insucesso com o mesmo conjunto de variáveis não apresenta minimização lógica possível a partir dos dados da pesquisa. Contudo, não é possível afirmar, nem mesmo por analogia, que a situação oposta à verificada na explicação do sucesso para tais variáveis seja uma explicação válida para o insucesso. Esta é razão pela qual o estudo apontou mecanismos relevantes para o sucesso e não determinantes.

De acordo com os dados da pesquisa, os mecanismos de coordenação são observados em agrupamentos diversificadas tendo como núcleo comum os mecanismos de comunicação (independentes de sua forma) e os sistemas de informação.

Destaca-se que o software utilizado na análise via mvQCA permite, inclusive, a comparação dos casos a cada variável e, neste processo, observou-se que apenas um dos casos pesquisados apresentou a utilização de mecanismos de incentivo no processo de implementação. Segundo a análise dos dados, este achado é coerente com controle de desempenho não consolidado como sinalizado anteriormente, sendo o sistemas de incentivo uma alternativa para o incremento do desempenho no lugar de uma decorrência deste. Mais uma vez o método demonstra sua sofisticação.

Ao destacar a perspectiva política como aquela diferencial para o sucesso da implementação, os dados da pesquisa sugerem a importância de desenvolver a qualidade dos relacionamentos para implementação de políticas públicas.

Cabe ressaltar que o conceito de participação empregado na análise da perspectiva política/ não se restringe tão somente à participação social externa ao governo, pois mostrou-se relevante o modo de participação dos próprios implementadores nas decisões e ações de implementação dos programas públicos.

De acordo com as suposições iniciais, expressas em uma estrutura analítica que contemplou a ideia de complexidade causal, a aplicação da QCA na análise de aspectos da implementação de políticas públicas, sinalizou como relevantes um conjunto de variáveis condições.

Tal conjunto de variáveis condições descreve uma coordenação interorganizacional que comtemple a distribuição de poder por meio da aquisição de discricionariedades, a ocorrência de participação na tomada de decisões compartilhadas, ou a possibilidade de participação por meio da troca de informações entre os atores envolvidos no processo.

Desta forma, o método mvQCA permite identificar nuances da complexidade causal, e se mostra útil para a análise de estruturas analíticas complexas, desde que amparadas por codificação robustas,

Adicionalmente, ressalta-se que a prática recomendável de verificação da consistência dos achados, por meio da análise resultado oposto para a variável outcome (tomando-se em conta as mesmas variáveis) simula experimento de contraprova, o que contribui para a robustez das conclusões e amplitude de generalizações.

7. CONSIDERAÇÕES FINAIS

Os resultados da pesquisa aplicada permitiram inferir que o mais relevante no processo de coordenação interorganizacional é a discussão de como equilibrar as necessidades relativas à distribuição de discricionariedades, a participação e a acomodação de interesses dos atores envolvidos no processo de implementação, mesmo em contextos hierárquicos.

Finalmente, no que diz respeito aos mecanismos de coordenação interorganizacional empregados na implementação, há subutilização de mecanismos, o que caracteriza um processo de gestão limitado do ponto de vista instrumental.

A partir destas observações e como agenda de pesquisas futuras, o estudo se propôs a investigação da relevância da promoção do compartilhamento de valores e referências comuns para estimular melhores resultados de implementação como apontado por Jobert (2004). Isto representaria um passo além um passo além no padrão de implementação observado.

Do ponto de vista metodológico, os resultados da pesquisa sinalizam que a aplicação do método comparativo proposto por Ragin (1987) proporciona análises mais sofisticadas, contemplando melhor a complexidade causal presente nas ciências sociais, ainda que com algumas limitações. A primeira delas diz respeito a utilização tabelas verdade que expõem combinações de fatores associados a uma dada condição específica, quando de fato a realidade pode se mostrar ainda mais complexa e as variáveis podem conter mais nuances.

Entretanto, é possível afirmar que a utilização da mvQCA representa avanço na análise qualitativa, visto que, como no caso específico da pesquisa em questão, ela viabilizou análise simultânea e de caráter preditivo, considerando múltiplos casos e numeroso conjunto de variáveis, permitindo identificar nuances nos resultados.

Outra limitação que merece destaque é o fato de que a análise comparativa da forma como proposta, ainda que torne explícito o conjunto de condições associadas a um dado resultado ou condição final, não determina relações causais. Assim, projetos de pesquisa que pretendem ir além demandam métodos de análise qualitativas complementares como as delineadas no caso em análise para dar mais robustez às explicações relacionadas aos achados da pesquisa.

No que diz respeito à factibilidade da pesquisa no caso analisado, houve uma limitação no processo de seleção dos casos, visto que o processo envolveu três movimentos de pesquisa de campo que ocasionaram a redução do número inicial pretendido. Contudo, dada a adequação do método de comparação por meio da álgebra booleana e equações lógicas, a referida redução não causou prejuízo, dado que não se procura com o método uma generalização probabilística.

Já no aspecto operacional da aplicação da QCA por meio da álgebra booleana, há uma possível fragilidade na utilização dos denominados remanescentes lógicos como recurso de obtenção de maior parcimônia na minimização lógica. Contudo, a utilização desse recurso é satisfatoriamente amparada pela teoria de conjuntos e pela lógica matemática, como explicam Rihoux e Meur (2008).

Ademais, observou-se que, nos resultados obtidos no caso analisado, os achados, oriundos das distintas fontes e dos métodos complementares empregados, apresentaram coerência e consistência. Desta forma os resultados da análise empreendida indicam que o método mvQCA se mostra útil e adequado para viabilizar o emprego de estruturas analíticas complexas e a construção de tipologias empíricas na pesquisa sobre políticas públicas.

REFERÊNCIAS BIBLIOGRÁFICAS

Barton, A. H. (1955). The concept of property-space in social research. The language of social research, 40-53.

Barbosa, S. C. T. (2010). Implementação de programas públicos federais: caráter da coordenação interorganizacional. (Tese de Doutorado) Disponível em; https://repositorio.unb.br/bitstream/10482/8411/3/2010_SheilaCristinaToletinoBarbosa.pdf

Barbosa, S. C. T. (2016). Capacidade de gestão: coordenação interorganizacional na implementação de programas públicos federais no Brasil. In Boletim de Análise Político-Institucional nº 9 (Jan-Jun). Brasília: Ipea, 47-55. Disponível em: https://www.ipea.gov.br/portal/images/stories/PDFs/boletim_analise_politico/160908_bapi9_6_nota2.pdf

Barzelay, M. (2001). The new public management: Improving research and policy dialogue (Vol. 3). Univ of California Press.

Brans, M. (2010). Administração pública comparativa: da teoria geral a estruturas gerais. Administração Pública: Coletânea. São Paulo: Unesp/Enap, 419 - 446.

Brasil (2004) Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico. Orientações para a implementação do Modelo de Gestão do PPA 2004-2007. Brasília.

Brasil (2004a). Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos. Manual de Elaboração de Programas: PPA 2004-2007. Brasília. Disponível em: . Acesso em: 20 out. 2010.

Brasil (2010). Senado Federal. Portal Orçamento. Siga Brasil. Disponível em: . Acesso em: 20.10.2010.

Brasil (2010a). Presidência da República. Controladoria Geral da União. Portal da Transparência. Disponível em: . Acesso em: 20 out.

Bruyne, P., Herman, J., Schoutheete, M. (1993) Dinâmica da pesquisa em ciências sociais. 3.ed. Rio de Janeiro: Francisco Alves.

Cronqvist, L. 2019. Tosmana [Version 1.61]. University of Trier. Internet: https://www.tosmana.net.

Cronqvist, L. 2016. Tosmana Manual [Version 1.52]. Univ. of Trier.https://www.tosmana.net/downloads/tosmana_manual1_52.pdf

Demo, P. (2000). Metodologia do conhecimento científico. São Paulo: Atlas.

Draibe, S. M. (2001). Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 13-42.

George, A. L.; Bennet, A. (2015) Case studies and theory development in social sciences. Cambridge: MIT Press.

Miles, M. B.; Huberman, A. M. (1994) Qualitative data analysis: an expanded source book. California: Sage Publications.

Pires, R. R. C., & Gomide, A. D. Á. (2016). Governança e capacidades estatais: uma análise comparativa de programas federais. Revista de sociologia e política, 24(58), 121-143.

Peters, G. (1998) Comparative politics: theory and methods. New York: New York University Press.

Ragin, C. C. (1987) The comparative method. Berkley: University of California Press.

Ragin, C. C. (2000) Fuzzy-set social science. Chicago: The University of Chicago Press.

Rihoux, B.; DE Meur, G. (2008) Crisp-Set Qualitative Comparative Analysis (CsQCA). In: Rihoux, B.; Ragin, C. C. (Eds.). Configurational comparative methods: Qualitative Comparative Analysis (QCA) and related techniques. Thousand Oaks; London: Sage, 33-68.

Sandes-Freitas, V. & Bizarro- Neto, F. (2015). Qualitative Comparative Analysis (QCA): usos e aplicações do método. Revista Política Hoje, 24(2), 103-118.

Apêndice A

Análise Geral para outcome sucesso

Fonte: Barbosa (2010)

Notas