rsocp Revista de Sociologia e Política Rev. Sociol. Polit. 0104-4478 1678-9873 Universidade Federal do Paraná 1678-987317256305 10.1590/1678-987317256305 Artigo Transformações na cientificidade e o ajuste inferencial na Ciência Política: argumento e evidências na produção de alto fator de impacto Transformations in Scientificity and the Inferential Adjustment in Political Science: Argument and Evidence in the Publications with High Impact Factor da Cunha Rezende Flávio Universidade Federal de Pernambuco Universidade Federal de Pernambuco Recife PE Brasil rezzende2005@gmail.com Flávio da Cunha Rezende (rezzende2005@gmail.com) é Doutor pela Cornell University e Professor Associado II do Departamento e Programa de Pós-Graduação de Ciência Política da Universidade Federal de Pernambuco. Pesquisador de produtividade em pesquisa do CNPQ e coordenador do Grupo Epistemologia e Método Comparado na Ciência Política, UFPE/CNPQ. Vínculo Institucional: Programa de Pós-Graduação de Ciência Política, UFPE, Recife, PE, Brasil. 01 09 2017 25 63 103 138 29 05 2015 24 08 2015 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited. Resumo

O artigo analisa as transformações nos padrões de cientificidade da Ciência Política ao longo das duas últimas décadas. A análise oferece evidências que corroboram a hipótese de que a produção de alto fator de impacto na Ciência Política vem passando por um processo de ajuste às regras de inferência. Este ajuste termina por configurar uma condição característica que conceituamos como o Pluralismo Inferencial, no qual coexistem múltiplas lógicas de causação para a produção de inferências válidas. A partir de uma metodologia original e de dados de contagem, a análise empírica busca testar a ocorrência deste ajuste numa população composta por 2.331 artigos publicados em cinco periódicos no período 2005-2015.

 Abstract

This paper analyses transformations in the scientific status of Political Science in the two last decades. The analysis provides evidence corroborating the hypothesis about the high impact production has been adjusting to the rules of inference. This adjustment brings about a characteristic condition called Inferential Pluralism in which coexist multiple logics of causation to produce valid inferences. Empirically, the paper develops an original methodology, based in text analysis and mining data analysis, to measure Inferential Pluralism and test the argument in a population of 2331 articles published in five high impact journals in period 2005-2015.

 PALAVRAS-CHAVE: Ciência Política desenhos de pesquisa metodologia causação inferência causal KEYWORDS: Political Science Research Design Methodology Causation Causal Inference I. Introdução<xref ref-type="fn" rid="fn1"><sup>1</sup></xref>

O continuado processo de ajuste às regras de inferência representa uma das principais tendências na produção de alto fator de impacto na Ciência Política. Esta disciplina vem, desde meados da década de 90 com a chamada “revolução KKV”, exibindo substanciais transformações nos seus padrões de cientificidade, onde a preocupação com inferências causais adquire centralidade2. A infusão de novas metodologias, desenhos de pesquisa e a crescente preocupação em compreender causação fazem com que a natureza e o tipo de conhecimento produzido na atualidade sejam radicalmente diferentes de duas décadas atrás. Neste complexo processo, por diferentes mecanismos, se observa uma crescente preocupação com a geração de inferências válidas na produção do conhecimento no interior da disciplina, configurando um Ajuste Inferencial.

O exame mais atento da produção disciplinar permite compreender a presença de um novo conjunto de preocupações metodológicas, consolidando um padrão de cientificidade preponderantemente centrado em inferências causais, modelos e estimação de efeitos. De forma análoga ao que ocorreu na chamada “revolução de credibilidade” na Economia em meados da década anterior, estas transformações se fizeram acompanhar pela infusão de novos valores, crenças e práticas disciplinares que orientam a busca pelo conhecimento causal. A conexão entre identificação e estimação na Economia tem promovido uma ampla reflexividade sobre elaboração de estratégias de identificação3 capazes de gerar inferências válidas a partir de dados experimentais4 e observacionais.

O artigo busca compreender em que medida estaria ocorrendo um ajuste às regras de inferência (King, Keohane & Verba 1994; King & Epstein 2002) na Ciência Política. Argumentamos, de forma original, que a Ciência Política institucionaliza um processo inédito de Ajuste Inferencial, em que a inferência não se restringe à estimação, configurando uma condição constitutiva de Pluralismo Inferencial onde coexistem múltiplas lógicas de causação capazes de gerar inferências causais válidas.

O Pluralismo Inferencial seria, portanto, um traço característico da Ciência Política, fazendo com que a inferência seja atingida por várias estratégias de identificação, não apenas pela estimação de efeitos causais. Nesse sentido, tais estratégias representam, no limite, respostas plausíveis para lidar com o conhecido “problema fundamental da inferência causal5”. Este complexo processo é aqui denominado Ajuste Inferencial na Ciência Política pós-KKV.

Utilizaremos ao longo do artigo a expressão Ciência Política (pós-KKV) para representar uma lógica de organização metodológica disciplinar que se pauta por uma maior aderência aos pressupostos de King, Keohane e Verba (1994) a partir de pelo menos uma década posterior ao lançamento do livro Designing Social Inquiry. Em termos de periodização: a Ciência Política (pós-KKV) é aqui considerada como sendo aquela que se configura no período 1995-2005. Neste período, pode-se considerar que a produção do conhecimento é radicalmente diferente em termos de preocupações com lógicas de causação, integração dos métodos, e da centralidade dos desenhos de pesquisa para gerar inferenciais válidas.

Este artigo busca entender as características deste ajuste e compreender “como e em que medida a produção metodológica da disciplina vem ‘aderindo’ às regras de inferência”. Para tanto, é desenvolvida uma metodologia original de análise e um argumento que tenta mostrar a especificidade das transformações da cientificidade na Ciência Política de alto fator de impacto, sugerindo elementos para uma Teoria do Pluralismo Inferencial.

O argumento proposto é que a Lógica da Explicação Política – com ênfase nas instituições e no comportamento – faz com que o ajuste inferencial na Ciência Política adquira uma condição constitutiva específica, em que se verifica a coexistência de múltiplas possibilidades para produzir inferências causais válidas6. O Pluralismo Inferencial representaria, portanto, um traço distintivo da Ciência Política, e revela que a oferta de inferências vai muito estratégias voltadas para estimação de efeitos causais. O impacto do Pluralismo Inferencial na produção de alto fator de impacto seria a expansão e sofisticação do portfólio das metodologias, técnicas de análise e das estratégias inferenciais que mobilizam múltiplas lógicas de causação (Brady 2008)7 produzindo distintas possibilidades de produção de inferências válidas.

Empiricamente, o artigo desenvolve uma estratégia analítica combinando técnicas de mineração de dados com a metodologia de “palavras como dados” (Laver, Benoit & Garry 2003), para verificar empiricamente a ocorrência do Ajuste Inferencial, caracterizando a condição de Pluralismo Inferencial numa população de 2.321 artigos publicados em cinco periódicos de alto fator de impacto – American Political Science Review, American Journal of Political Science, British Journal of Political Science, Comparative Politics e Comparative Political Studies – no período de 2005 a 2015.

O artigo se organiza da seguinte forma. Na seção seguinte são apresentados o conceito de ajuste inferencial, sua conexão com a explicação política e, mais especificamente, a caracterização do Pluralismo Inferencial e sua mensuração a partir de dados de contagem considerando as variáveis de contagem a partir de dados textuais. Na parte seguinte é apresentada a metodologia para a análise dos dados e como é auferido o ajuste inferencial neste conjunto de artigos. Na Seção IV, apresenta-se um padrão comparativo entre os cinco periódicos a partir das probabilidades médias de ocorrência de atributos específicos ligados à Lógica de Causação, Desenhos de Pesquisa e Técnicas de Análise. Na Seção V, é apresentado um conjunto de dados relativos aos padrões do ajuste inferencial ocorrido nestes periódicos, buscando mostrar em que medida e como o Pluralismo Inferencial foi atingido.

 II. O Pluralismo Inferencial: argumento e mensuração II.1. A explicação política e o Pluralismo Inferencial

O padrão de cientificidade na Ciência Política representa importante variável ao longo da história disciplinar no Século XX. Desde as primeiras gerações experimentalistas organizadas por Charles Merriam em Chicago nos anos 1920 até as proposições de King, Keohane e Verba (1994) em meados dos anos 1990 podem ser observadas várias concepções de cientificidade8. Estas se traduzem em concepções sobre como produzir explicações, acessar causação e gerar inferências válidas. O pluralismo representa, portanto, uma das condições essenciais da disciplina. A Ciência Política sempre foi considerada por vários autores como uma disciplina fragmentada, dividida e pluralista. Todavia, é importante entender que os pluralismos9 exibem variabilidade no tempo.

Podemos observar, ao longo da trajetória da disciplina e de sua evolução profissional, três ondas de pluralismo, as quais estão intrinsicamente ligadas às especificidades da explicação política. A primeira corresponde ao Pluralismo Teórico, onde os debates teóricos assumem primazia e que se configura pela coexistência entre diversas teorias para produzir explicações satisfatórias diante da especificidade dos problemas centrais da disciplina.

Este pluralismo pode ser bem visto no artigo “The Role of Theory in Comparative Politics” (Kohli et al., 1995) em que diversos comparativistas de primeira linha identificam a existência de um “Centro Eclético Difuso” em que coexistem múltiplas teorias voltadas para dar conta da explicação causal na Ciência Política. Neste importante artigo, também pode ser compreendido que “as instituições e as preocupações com causação” são os aglutinadores que oferecem sentido as teorias no campo da política comparada. Marsh e Savigny (2004) também exibem esta preocupação no seu conhecido argumento de “broad church”.

Em meados da década de 1990, a disciplina passa a conviver com o Pluralismo Metodológico, cuja característica central reside na expansão da rivalidade e coexistência entre metodologias, i.e., sobre as regras que orientam a produção do conhecimento. Neste período ocorre uma visível expansão da reflexividade disciplinar sobre questões metodológicas relevantes nas diversas tradições teóricas. Por fim, argumentamos aqui, de forma original, que a partir de meados da década de 2000, no contexto de uma Ciência Política Pós-KKV, instaura-se o Pluralismo Inferencial, o qual se constitui na coexistência de múltiplas lógicas para produzir inferências causais válidas.

Um dos importantes impactos de KKV foi ampliar o espectro e a qualidade dos debates metodológicos na tradição qualitativa, configurando o que veio a se chamar de Nova Metodologia Qualitativa na Ciência Política. O pluralismo metodológico contempla discussões sobre os limites de integração dos métodos qualitativos e quantitativos; inferências em desenhos de pesquisa small-n; o papel dos estudos de caso e outros temas. Brady e Collier (2004), Gerring (2005), Mahoney (2010) e Rezende (2011a) fornecem uma ampla compreensão de tal fenômeno.

O artigo desenvolve a teoria de que a existência dos pluralismos - teórico, metodológico, e inferencial - está diretamente ligada à natureza da explicação política. Por contemplarem fatores como instituições, comportamento e ação, o portfólio de teorias, métodos e técnicas disponível a cada momento disciplinar exibe elevada variedade, configurando o pluralismo. Parte do problema na Ciência Política seria explicar o efeito das causas, como nas Ciências Naturais; a outra parte seria explicar como determinadas configurações causais complexas conduzem, em determinadas condições, a determinados resultados10. Este é o problema crucial de como gerar inferências causais na Ciência Política. Tal questão assume centralidade na Teoria do Pluralismo Inferencial.

A teoria subjacente é que inferências podem ser geradas com confiabilidade, validade, e replicabilidade desde que desenhos de pesquisa estejam alinhados aos princípios inferenciais11. Esta orientação alterou profundamente o status científico, o rigor e as práticas da metodologia no interior da disciplina, especialmente a partir dos anos 2000, com a chamada Revolução KKV, em que os Desenhos de Pesquisa podem conduzir à geração de Qualidade Inferencial.

A partir dos anos 2000, como mostraremos empiricamente neste artigo, passa a se manifestar uma série de características, na produção de alto fator de impacto, observando-se uma maior preocupação com elementos relativos à causação, inferência, estimação, modelagem e, em termos mais amplos, uma maior reflexividade sobre os desenhos de pesquisa, ou, mais modernamente, sobre as estratégias de identificação (Keele 2015).

Com a centralidade dos desenhos de pesquisa, a Ciência Política se alinha com a proposição de Rubin (2008) de que “os desenhos de pesquisa têm primazia sobre a análise”12. Isto implica um ajuste à crença de que sem um investimento massivo na construção de desenhos de pesquisa, boa identificação causal e qualidade inferencial, pouco se pode avançar em termos de geração de conhecimento válido, especialmente quando se quer gerar inferências causais com dados experimentais ou observacionais.

Morton e Williams (2010) consideram que a demanda crescente por experimentos – em suas diversas variantes - na Ciência Política deriva da continuada “falha” dos métodos quantitativos tradicionais em oferecer respostas mais satisfatórias à demanda por inferência causal. Green e Gerber (1999; 2009) consideram também o importante fato da “exaustão” dos desenhos observacionais. Neste sentido, os desenhos experimentais têm aberto fronteiras para a reflexão sobre importantes problemas relativos à geração de inferências causais no laboratório, em experimentos naturais, experimentos de campo, e, a partir dos quase-experimentos. (e.g.Dunning, 2008; Morton and Williams, 2010; Mc Dermott, 2002, Druckman et al., 2006).

Campbell, Cook e Shadish (2002) sugerem que diante de controles e randomização “imperfeitos”, os desenhos de pesquisa devem ser considerados como quase-experimentais, situação típica em que os estudos observacionais permitem gerar inferências a partir de controles “similares” às condições experimentais ideais. Collier et al. (2004) considera que estes desenhos enfrentam obstáculos e ameaças similares aos experimentos no que se refere à geração de inferências causais, o que garante que eles sejam considerados como “se fossem”, em alguma medida, experimentos.

A primazia dos desenhos de pesquisa estaria se consolidando como uma “revolução de credibilidade” na Ciência Política, ligada ao modo como a disciplina oferece respostas efetivas ao problema fundamental da inferência causal. Na realidade, em termos mais amplos, o ajuste progressivo à condição de Pluralismo Inferencial representa um padrão de resposta disciplinar para lidar com o “problema fundamental da inferência causal”.

A forma diferenciada de como o Pluralismo Inferencial se organiza na Ciência Política tem a ver com a lógica da explicação política13. O Pluralismo Inferencial (Rezende 2015b; 2017) representa, portanto, uma condição constitutiva da Ciência Política contemporânea (pós-KKV) associada às transformações no padrão de cientificidade disciplinar. Na condição de Pluralismo Inferencial, argumentamos que coexistem múltiplas lógicas de realizar inferências causais.

Baseando-nos na formulação original proposta por Mahoney e Goertz (2012), afirmamos que a produção do conhecimento inferencial na Ciência Política se estrutura em dois grandes tipos (ou lógicas) de causação: forward causation (efeito-das-causas) e backward causation (causa-dos-efeitos). Eles consideram haver duas “culturas” no tratamento das questões inferenciais na Ciência Política. A primeira, conhecida como “as causas dos efeitos”, se organiza em desenhos de pesquisa que buscam compreender como determinadas causas produzem um dado resultado, e, neste sentido, mais fortemente ligada aos métodos qualitativos. A segunda, voltada para compreender “os efeitos das causas” busca estimar impactos ou efeitos causais. Neste sentido, estimação é bastante diferente de inferência, como mostraremos empiricamente.

Explicações políticas14 são aquelas que mobilizam variáveis essencialmente políticas e que aderem à Equação de Plott (1991). Plott considera que as explicações dos fenômenos sociais devem considerar os agentes, suas escolhas, e serem mediados pelas instituições. Ryan (2004) considera que as explicações políticas não devem descartar os agentes e o pressuposto da racionalidade. A produção de alto fator de impacto tende a mostrar padrões de explicação que gravitam entre modelos de racionalidade e modelos institucionais.

A introdução dos agentes e das instituições tem profundo impacto sobre o problema da qualidade inferencial. As instituições representam fonte considerável de problemas de endogeneidade, limitando sensivelmente as estratégias de identificação, e afetando a validade das inferências causais. Como não é possível “erradicar” o componente institucional nas explicações políticas, existe uma ampla gama de respostas para lidar com o problema fundamental da inferência causal15, que vão além da estimação de efeitos causais. Este argumento é de fundamental importância para entender o Pluralismo Inferencial na Ciência Política.

Mais recentemente, pode-se verificar um ressurgimento das abordagens comportamentais (Bond 2007), que passam a disputar a explicação política com os modelos institucionais e racionais. O retorno às abordagens comportamentais alterou substancialmente o padrão de cientificidade a partir de uma volumosa mobilização de desenhos de pesquisa experimentais (e quase experimentais) para produzir inferências válidas. A expansão dos estudos comportamentais teria trazido de volta as oportunidades de gerar desenhos de pesquisa que possam dar conta do problema de “estimar os efeitos causais” que se torna intratável do ponto de vista da identificação quando as instituições assumem centralidade na explicação.

A conexão entre a Lógica de Explicação Política16, os Desenhos de Pesquisa e o Pluralismo Inferencial é compreendida no modelo direcional (Hay 2002) e se aproxima do seguinte: EP [explicações políticas] → MC; DP [modelos de causação/desenhos de pesquisa] → DEIV [estratégias inferenciais válidas] → PI [Pluralismo Inferencial]. De forma simplificada, pode-se argumentar que a lógica da explicação política produz uma diversidade de desenhos de pesquisa contendo estratégias inferenciais válidas, as quais configuram múltiplas formas de resolver o problema fundamental da inferência causal. Na seção seguinte, apresentamos as Dimensões Empíricas do Pluralismo Inferencial.

A lógica da explicação política – marcada por grande dose de endogeneidade17, presença massiva de contrafatuais18 e dependente de configurações – termina por produzir um ajuste diferenciado em que coexistem múltiplas formas de pensar e de manipular a causação, caracterizando a condição de Pluralismo Inferencial. O Pluralismo Inferencial abre, portanto, possibilidades para que, diante de condições experimentais imperfeitas, seja possível contar com um “leque” de opções para produzir inferências. Este ponto é importante dado que não se pode reduzir a inferência à questão da estimação de efeitos. A explicação política termina por impulsionar diversas vias de respostas ao problema inferencial.

Para além dos desenhos de pesquisa quase experimentais, com o Pluralismo Inferencial verifica-se, no caso particular da Ciência Política, a introdução de três importantes tipos de desenhos de pesquisa capazes de gerar inferências causais válidas: os Estudos de Caso, as metodologias de Process-Tracing e os Set-Theoretical Methods.

Os estudos de caso (Gerring 2004; 2007; Rezende 2011b; Rohlfing 2012) são considerados alternativas aos “experimentos controlados” quando se quer compreender causação com atenção especial às condições e aos mecanismos causais, ou lidar com problemas ligados à endogeneidade. Casos não se prestam apenas para produzir conhecimento descritivo, mas, sim, para fazer avançar o conhecimento inferencial numa realidade em que os fenômenos são carregados de endogeneidade, complexidade causal e dependência de condições específicas. Casos podem ser ferramentas relevantes para compreender a diversidade de padrões causais, a direção das causalidades e, mais importante, para observar em mais detalhes o grau de relação não espúria (nonspuriousness).

Os desenhos de pesquisa do tipo Process-Tracing (Beach & Pedersen 2013), construídos para dar conta da complexa conexão entre agentes, instituições e contextos para produzir explicações causais a partir de mecanismos, têm se constituído em um importante vetor para produzir inferências causais. A atenção aos processos causais tem auferido substancial relevância quando se trata de produzir inferências centradas em mecanismos causais. Estes modelos são ideais quando se deseja penetrar de fato na “ampla cadeia” de mecanismos (Weller & Barnes 2014) que estão operando em um dado contexto.

Por fim, adquirem relevância as inferências geradas pelos Métodos Qualitativos Configuracionais – Set-Theoretical Methods (Schneider & Wagenan 2012). Baseados numa lógica booleana originalmente desenvolvida por Ragin (1989) para pensar a causação, estes métodos mobilizam vários tipos de estratégias e técnicas para formar conceitos, criar tipologias e produzir interpretação causal19 tais como os Fuzzy Sets QCA20, Crisp QCA, Multi-Value QCA e Temporal QCA (Rihoux & Ragin 2009).

 II.2. O Pluralismo Inferencial e suas dimensões características

É possível argumentar que uma dada disciplina, quando vista na perspectiva da sua produção, exibe graus diferenciados de ajuste a tal condição, o que chamamos aqui de “Ajuste Inferencial”. Neste sentido, seria possível observar empiricamente uma série de características empíricas na produção do conhecimento de alto fator de impacto.

Para mensurar o Pluralismo Inferencial consideramos sete dimensões características. A primeira está relacionada à gradual divisão do trabalho entre modelos institucionais e comportamentais na oferta de explicações. Esta divisão do trabalho impulsiona as possibilidades inferenciais para duas configurações básicas. As análises institucionalistas, por um lado, geram a expansão das demandas por desenhos de pesquisa que contemplam causação reversa a partir de desenhos que mobilizam estudos de caso, análises configuracionais, análise de processos causais, análise de mecanismos e análises históricas, as quais tentam dar conta das diversas formas de como as “instituições importam”.

Por outro lado, por se concentrar na análise do comportamento em termos de causas e efeitos, os modelos comportamentais introduzem a necessidade de estimar efeitos causais a partir de desenhos experimentais e quase experimentais, envolvendo uma lógica de Causação Direta. Por conferir centralidade à questão da estimação, os modelos comportamentais introduzem questões relacionadas ao problema dos controles, manipulabilidade dos desenhos de pesquisa e de como lidar com o crucial problema das variáveis omitidas.

É de se esperar que uma Ciência Política mais próxima do Pluralismo Inferencial apresente uma “competição entre modelos comportamentais e institucionais” criando possibilidades para uma ampla variação de desenhos de pesquisa, exibindo um portfólio altamente diferenciado para responder ao problema fundamental da inferência causal.

A segunda característica está diretamente ligada à demanda crescente por inferências causais. O ajuste inferencial está intrinsecamente ligado a um maior interesse dos pesquisadores em identificar causação e em gerar inferências causais. Do ponto de vista empírico, entretanto, tal condição faz com que seja plausível supor que o ajuste inferencial seja marcado pela atenção crescente ao problema da inferência, em suas diversas variantes. Esta característica pode ser observada pela quantidade de artigos que contemplam o propósito de gerar inferências causais, bem como da variabilidade inferencial.

A terceira condição está ligada à primazia dos métodos e modelos. Uma Ciência Política mais próxima do Pluralismo Inferencial seria aquela em métodos e modelos adquirem centralidade e relevância (King, Keohane & Verba 1994; Morton 1999; Primo & Clarke 2012). Esta característica implica maior atenção, rigor e sofisticação dos modelos e métodos na produção de alto fator de impacto.

A quarta condição está relacionada à aderência ao paradigma EITM – Empirical Implications of Theoretical Models21. Neste paradigma, a produção do conhecimento passa a ser guiada por testes de hipóteses, utilização de modelos formais e uma interação profunda com econometria e análise estatística. Granato e Scioli (2004) consideram que a aderência ao paradigma EITM pode ser compreendida pela conjunção dos seguintes fatores: orientação por problemas de pesquisa teoricamente relevantes e empiricamente identificáveis; uso intensivo de modelos formais que possam identificar as conexões causais relevantes a partir da centralidade dos desenhos de pesquisa; da orientação dedutiva a partir de hipóteses empiricamente testáveis; mensuração e maior clareza nas estratégias de coleta, sistematização e análise de dados.

A quinta condição está diretamente ligada à diversificação/sofisticação do portfólio das estratégias e técnicas. Em decorrência da expansão das possibilidades inferenciais, espera-se que a produção de fator de alto fator de impacto exiba um perfil que se caracterize por uma ampla diversificação de opções metodológicas disponíveis.

Esta diversificação pode ser caracterizada, em termos mensuráveis, pela coexistência das metodologias e técnicas específicas mobilizadas para gerar inferências causais válidas. Do ponto de vista empírico, entretanto, tal condição pode ser compreendida a partir da diversificação (ou desconcentração) do portfólio de técnicas, mensurado pelo Coeficiente de Gini.

A sexta condição está ligada à diversidade das lógicas de causação nos desenhos de pesquisa. O Pluralismo Inferencial é bem demarcado pela noção de que existem diversas lógicas de causação para produzir inferências causais de qualidade. Na Ciência Política, dadas as características já apontadas, as inferências válidas contêm diversas “lógicas” de causação, exibindo grande variabilidade entre os estudos. O traço distintivo do Pluralismo Inferencial está no fato de que diversas opções inferenciais são válidas, e tal condição permite formas altamente diferenciadas de produzir inferências confiáveis. Empiricamente, tal condição pode ser mensurada, como no exemplo anterior, pelo grau de diversificação das lógicas de causação.

A sétima condição está ligada à expansão dos desenhos de pesquisa experimentais (e quase experimentais). O Pluralismo Inferencial se faz acompanhar de uma utilização mais intensiva de experimentos naturais, experimentos de laboratório, experimentos de campo, experimentos de survey, regressões descontínuas, variáveis instrumentais, diferenças duplas, controles sintéticos, entre outros. Isso permite compreender mais de perto a ampla quantidade de caminhos inferenciais. Com efeito, a condição de Pluralismo Inferencial movimentaria a produção de alto fator de impacto para uma utilização mais intensiva de diversos desenhos de pesquisa experimentais quando a randomização é possível, ou para alternativas quase experimentais em condições nas quais a randomização é imperfeita. Empiricamente é possível mostrar que o uso mais intensivo dos experimentos, em geral, representa uma boa proxy para apreender o grau de ajuste ao Pluralismo Inferencial.

 III. Metodologia

Esta seção apresenta os recursos metodológicos mobilizados para verificar empiricamente a ocorrência de atributos empíricos que caracterizam a condição de Pluralismo Inferencial em cinco periódicos de alto fator de impacto na Ciência Política. A seção apresenta os critérios para a escolha da base empírica, o tipo de análise realizada, as estratégias de mensuração e, por fim, uma descrição das técnicas estatísticas empreendidas.

A base empírica escolhida para a análise corresponde a uma população de 2.321 artigos22 publicados nos periódicos American Political Science Review (APSR) American Journal of Political Science (AJPS), British Journal of Political Science (BJPS), Comparative Political Studies (CPS) e Comparative Politics (CPOL) no período de 2005 a 201523. Conforme ilustra a Tabela 1, tal amostra tem um fator de impacto médio de 3,117 (calculado para 5 anos), caracterizando uma amostra de “alto fator de impacto”. Esta amostra tem uma quantidade média de 4.098 citações.

Características da amostra
Periódico Qtd. Citações* Fator de Impacto 5 anos* Qtd. Artigos Distribuição Relativa (% total de artigos)
APSR 8.644 4,953 464 19,9%
AJPS 6.812 4,352 661 28,4%
BJPS 1.905 2,432 378 16,2%
CPS 2.138 2,562 600 25,7%
CPOL 992 1,288 228 9,8%
Total 4.098** 3,117** 2.331 100%
Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Nota:

Valor médio no período 2010-2015;

Valor médio dos periódicos. American Political Science Review (APSR), American Journal of Political Science (AJPS), British Journal of Political Science (BJPS), Comparative Politics (CPS), e Comparative Political Studies (CPOL).

A escolha dos cinco periódicos para a análise se deve a dois importantes fatores. O primeiro é combinar periódicos de Ciência Política “pura” como o AJPS (4,352), APSR (4,953) e o BJPS (2,432), com dois periódicos na área de Política Comparada - CPS (2,562) e CPOL (1,288). Os artigos publicados contemplam, por diferentes formas, análises em que teorias e modelos são confrontadas com dados empíricos em condições concretas de análise. Embora queiramos acessar dimensões metodológicas para compreender o Pluralismo Inferencial, esta característica permite verificar tal ocorrência em um ambiente mais “aplicado”.

O segundo fator é permitir uma variabilidade em termos de problemas de pesquisa, teorias mobilizadas, metodologias, desenhos de pesquisa, técnicas de análise, bem como a variação em termos das estratégias de identificação para dar conta do problema da inferência causal. A opção pela heterogeneidade de abordagens representa um campo ideal para capturar o “mapeamento” das opções metodológicas, dos desenhos de pesquisa e das lógicas de causação que podem melhor caracterizar o Pluralismo Inferencial.

A construção do argumento foi orientada pela combinação de técnicas de análise de conteúdo e mineração de dados textuais (Text Data Mining)24 utilizando o programa NVIVO 10 para análises qualitativas e de métodos mistos. Esta técnica tem sido largamente utilizada para a análise e extração de padrões, tendências e regularidades, e serve de insumo relevante na descoberta de conhecimento a partir de documentos textuais (dados não estruturados). Nesta técnica, os textos são considerados como “bag-of-words” que contêm dimensões a serem capturadas por busca textual direta a partir de um “dicionário” de palavras preparado pelo pesquisador em função dos interesses da pesquisa.

É importante salientar que o tipo de estratégia utilizada neste artigo se diferencia dos métodos que consideram as “palavras como dados” e seus derivados25 (Laver, Benoit & Garry 2003), que vem ganhando aplicabilidade e rigor na Ciência Política na última década. Embora a análise aqui empreendida considere as “palavras como dados”, é necessário frisar que estamos interessados apenas em caracterizar a condição de Pluralismo Inferencial a partir de posições, escolhas e opções metodológicas contidas na produção de artigos científicos26, e não em estimar ou inferir a posição de documentos fora da amostra a partir de documentos referenciais, que é o propósito central destas estratégias.

A metodologia proposta por Laver, Benoit e Garry (2003) serve, portanto, de inspiração, e as “palavras como dados” são utilizadas para gerar evidências que corroboram o argumento do Pluralismo Inferencial. Nossa tarefa, portanto, se aproxima do que Grimmer e Stewart (2013, p.268) consideram como análises textuais automatizadas voltadas para a classificação de textos com categorias conhecidas a priori, que ele chama de “dicionários” (Dictionary Methods27).

O “Dicionário de Termos” foi composto a partir de dados de contagem em 49 atributos (ver lista no Apêndice 1 28) coletados nos periódicos selecionados para análise. Neste universo foi selecionado um subconjunto específico de 39 (trinta e nove) componentes correspondendo as cinco dimensões que permitem capturar as características que podem corroborar empiricamente a condição do Pluralismo Inferencial29, conforme apresentado no Quadro 1.

Componentes das dimensões de análise
Dimensão Componentes
D1 - Métodos e Modelos (6 componentes) Analise de Dados I (Figuras); Análise de Dados II (Tabelas) Método/Metodologia; Modelo; Modelos Formais. Teoria
D2 – Inferência (6 componentes) Efeitos; Estimação; Impacto; Inferência; Pontos Ideais; Teste de Hipóteses
D3 - Técnicas de Análise (13 componentes) Análise de Painel; Modelos de Sobrevivência; Modelos Espaciais; Modelos Hierárquicos; Monte Carlo; Propensity Score; Regressão, Survey, Logit, Tobit, Probit, Séries Temporais; TSCS
D4 – Desenhos de Pesquisa (6 componentes) Endogeneidade; Randomização; Sensitividade; Validade; Variáveis Omitidas; Viés de Seleção
D5 – Lógicas de Causação (7 componentes) Análise Institucional; Contrafatuais; Experimentos; Fuzzy Sets; Mecanismos; Modelos Bayesianos; QCA
Fonte: O autor.

A partir da identificação destes atributos e dimensões, foram realizadas as consultas no NVIVO buscando-se obter dados de contagem – Quantidade de Referências Codificadas (QRC) e Fontes Codificadas (FC) que mensurem – a partir de pesquisa de texto e matrizes de codificação – as frequências de cada termo por documento e sua evolução para cada um dos cinco periódicos no período 2005-2015. Após a obtenção dos dados de contagem, estas frequências são convertidas em escores a partir dos quais são construídas as matrizes de termos por ano (MTA) e dos termos por documento (MTD) que são as bases para as análises estatísticas.

Para a construção dos indicadores nas análises longitudinais para o período 2005-2015, as unidades de análise correspondem aos atributos considerados, e a mensuração da frequência de termos foi realizada da seguinte forma: em primeiro lugar, foi calculada a probabilidade (P) de ocorrência de um dado atributo A. Esta foi medida pelo quociente entre a Quantidade de Fontes Codificadas (QFC) com o termo e o Total de Fontes Publicadas no Ano (TFPAn).

A partir destas probabilidades, de forma original, foi calculado o indicador “Força de Incidência do Termo” (FIT), entendido como sendo o produto entre probabilidade de ocorrência (P) e a Quantidade de Referências Codificadas (QRF) por atributo (FIT = P * QRF). Este escore mede a importância, relevância ou “peso” do termo A na produção para cada ano. Com estes escores foram construídas as Matrizes QRC, Matrizes FIT e as Matrizes de Probabilidade, contendo as séries longitudinais dos dados por atributo que lastreiam as análises, conforme mostra o framework do Quadro 2.

Estrutura das Matrizes Probabilidade (P), Quantidade de Referências Codificadas e Força de Incidência do Termo (FIT)
Periódico
Indicador (I)
2005-2015
Atributo 2005 2006 2007 2008 2015
A1 I
A2
...
A49
Fonte: O autor.

Nota: Os quadros 1, 2 e 3 são, em realidade, “frameworks” que orientam o tipo de coleta e de produção dos dados na confecção do artigo, e portanto as células vazias não devem estar preenchidas com valores.

Os dados de contagem, portanto, foram originalmente gerados em NVIVO 10, exportados para Excel, organizados, e, em seguida, passados para o SPSS. A escolha do SPSS como software para empreender a análise de dados se dá pelo fato de se tratar de uma análise estatística extremamente simples para a qual o software atende muito bem.

As análises estatísticas realizadas podem ser divididas em dois momentos. A primeira delas, que é realizada na Seção 4, tem por objetivo apresentar padrões e regularidades em termos das probabilidades médias (e desvios padrões) de ocorrência de atributos selecionados (isoladamente, agrupadamente ou classificados em dimensões) para comparar os cinco periódicos, mostrando variações relevantes para a análise. Estas análises são tratadas com boxplots, matrizes de correlação (scatter matrix) e gráficos de dispersão (scatterplots) para oferecer uma visão comparativa adequada.

O passo seguinte, conforme apresentado na Seção V, consiste em um conjunto de análises descritivas que permitam caracterizar o “ajuste temporal” às características do Pluralismo Inferencial. Basicamente, são mobilizados dois tipos de evidência: (1) um conjunto de gráficos de linha contendo a evolução da variável FIT para um conjunto selecionado de atributos para auferir o comportamento do indicador no tempo; (2) o emprego de técnicas de análise multivariada voltadas para compreender aspectos mais relacionados à redução de dimensionalidade e de agrupamentos. Para analisar a concentração ou a diversidade das dimensões D3 (Técnicas de Análise) e D5 (Lógicas de Causação) foi utilizado o Coeficiente de Gini30.

A partir dos nós gerados para os dados de contagem, foram realizadas consultas expandidas no NVIVO que permitiram extrair a nuvem de palavras para o nó inferência, que permite visualizar a força de associação de diversos termos com o atributo inferência.

Para as análises de redução de dimensionalidade e agrupamentos, por seu turno, foram construídas matrizes de quantidade de referências codificadas (QRF) para cada atributo A, tendo como unidade de análise os artigos, como ilustra o Quadro 3.

Estrutura das Matrizes Probabilidade (P), Quantidade de Referências Codificadas e Força de Incidência do Termo (por Artigo e Atributo)
Periódico
Indicador
2005-2015 Atributo
Artigo Atributo1 Atributo2 ... Atributo 49
A1 indicador
A2
...
A2331
Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Nota: Os quadros 1, 2 e 3 são, em realidade, “frameworks” que orientam o tipo de coleta e de produção dos dados na confecção do artigo. As células vazias não devem estar preenchidas com valores.

Para a redução de dimensionalidade foi realizada uma análise de componentes principais (PCA) com o propósito de identificar fatores latentes que permitem caracterizar os aspectos essenciais que estruturam cada dimensão considerada. O emprego desta técnica permitiu compreender ainda a possibilidade efetiva ou não reduzir a dimensionalidade. O método de rotação foi o de Varimax com 25 interações para extração da solução final rotacionada. Foram apresentadas tabelas que exibem as características destas rotações, bem como os gráficos com os componentes da solução final rotacionada.

Este ponto será crucial para auferir sobre a consolidação da condição do Pluralismo Inferencial especialmente no tocante a existência de diversas Lógicas de Causação (D5), dos Desenhos de Pesquisa (D4) e da Sofisticação do Portfólio das Técnicas de Análise (D3). A solução de redução de dimensionalidade, a partir dos parâmetros de Kaiser-Meyer-Olkin Measure (KMO) para adequação da amostra e do Teste de Esfericidade de Bartelett se mostra uma ferramenta útil para auferir a condição de Pluralismo Inferencial.

Em seguida, foi realizada uma análise de agrupamentos entre nós com o método de similaridade de palavras, para compreender o grau de correlação – mensurado pelo coeficiente de Pearson – entre as lógicas de causação e o termo inferência, que permite mensurar o quanto cada uma das lógicas “importa” para a geração de inferências para o conjunto de periódicos no período analisado.

 IV. Comparando os periódicos

Esta seção tem como propósito verificar variações empíricas existentes entre os periódicos – AJPS, APSR, BJPS, CPOL e CPS – no que se refere a Inferência (D2), estrutura das Técnicas de Análise (D3), dos Desenhos de Pesquisa (D4) e das Lógicas de Causação (D5). Para tanto, são utilizadas a probabilidade média de ocorrência (P) dos termos ao longo do tempo.

A primeira dimensão analisada refere-se à constatação empírica da existência de uma demanda crescente por inferência causal na Ciência Política. A evolução da probabilidade média de ocorrência no período 2005-2015, mostrada no Gráfico 1, sugere tal tendência. Se em 2005, havia uma probabilidade de 17% de ocorrência, tal valor atinge a casa de 25%. Aproximadamente, um a cada quatro artigos contém o termo inferência de forma direta.

Evolução da probabilidade média de ocorrência do termo “inferência” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Todavia, a preocupação com inferência não se distribui de forma similar entre os periódicos, existindo uma variação relevante. Existem periódicos que são mais voltados para a inferência. O Gráfico 2 revela uma clara diferenciação entre os periódicos, mostrando que os três periódicos de Ciência Política (AJPS, APSR e BJPS) possuem médias maiores do que os que se situam no campo da Ciência Política comparada (CPOL e CPS). O CPOL seria o caso com menor média e o AJPS o caso polar oposto.

<italic>Boxplot</italic> com a probabilidade média de ocorrência do termo “inferência”, por períodico (2005-2015)

Nota: American Political Science Review (APSR), American Journal of Political Science (AJPS), British Journal of Political Science (BJPS), Comparative Politics (CPS), e Comparative Political Studies (CPOL).

Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Entretanto, a “preocupação crescente com inferência” ao longo do tempo se configura como supõe os argumentos do Pluralismo Inferencial. Este padrão expansionista é mostrado no Gráfico 2, em que se compara a probabilidade média (Pm) de ocorrência do termo inferência entre dois subperíodos (2005-2010) e (2010-2015) para cada periódico. É importante frisar que embora os periódicos de Ciência Política exibam as maiores probabilidades de ocorrência (Tabela 2), nos dois períodos, o CPOL é aquele que exibe a maior taxa relativa de expansão: 8,9%, muito próxima do ocorrido no AJPS (8,6%).

Probabilidade média do termo “inferência”, por periódico (2005-2010 e 2010-2015)
Periódico Período I 2005-2010 Período II 2010-2015 Taxa de Crescimento
AJPS 23,3% 31,9% 8,6%
APSR 26,3% 31,3% 5,0%
BJPS 20,8% 22,8% 2,0%
CPS 17,1% 19,6% 2,5%
CPOL 2,4% 11,3% 8,9%
Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Nota: American Political Science Review (APSR), American Journal of Political Science (AJPS), British Journal of Political Science (BJPS), Comparative Politics (CPS), e Comparative Political Studies (CPOL).

Os dados também revelam que a ocorrência de um amplo conjunto de atributos – classificados a partir das Dimensões – exibe uma importante variação entre os periódicos e mostram relações de grande interesse para análise. Isso, em grande medida, reflete a diversidade ainda existente nas publicações em Ciência Política, confirmando em escala mais ampla o argumento do Pluralismo Inferencial.

Quando analisadas as correlações entre os diversos atributos na dimensão Desenho de Pesquisa (D4) para os quatro mais importantes atributos (validade, sensitividade, randomização e endogeneidade) como mostrado na matriz de correlação do Gráfico 3, pode-se ver claramente que existe uma substancial variação entre os periódicos, sendo os de Ciência Política que ocupam o quadrante direito superior de cada matriz, indicando uma maior probabilidade de ocorrência simultânea dos dois fatores correlacionados.

Matriz de correlação com probabilidade média de ocorrência de atributos da dimensão “Desenhos de Pesquisa”, por periódico

Nota: American Political Science Review (APSR), American Journal of Political Science (AJPS), British Journal of Political Science (BJPS), Comparative Politics (CPS), e Comparative Political Studies (CPOL).

Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Podemos considerar que, de maneira geral, existe uma correlação positiva entre os fatores e que os periódicos se distribuem, de maneira geral, numa distribuição que ocupa o quadrante direito inferior para o esquerdo superior, que tem a configuração CPOL, CPS, BJPS, APSR e AJPS. Esta tendência indica que os periódicos de Ciência Política se preocupam mais com os desenhos de pesquisa em suas diversas dimensões.

Endogeneidade e validade, dois importantes atributos da configuração dos Desenhos de Pesquisa (D4), estão positivamente relacionados e seguem o padrão geral. Entretanto, os periódicos estão muito mais “próximos” do que em outras relações configuracionais exibidas na matriz de correlação. Isso indica que esses atributos aparecem de forma muito “similar” entre os casos. Novamente, para os desenhos de pesquisa, o periódico CPOL é o caso mais discrepante.

Os dados de correlação entre cinco importantes dimensões para as Lógicas de Causação – modelos bayesianos, contrafatuais, experimentos, análise institucional e mecanismos – são apresentados no Gráfico 4. Os padrões de distribuição espacial dos periódicos se confirmam. Todavia, é importante mencionar que as correlações bivariadas são em grande maioria positivas, tendo apenas um diferencial: as relações com as análises institucionais, que assumem padrão reverso.

Matriz de correlação com probabilidade média de ocorrência de atributos da dimensão “Lógicas de Causação”, por periódico

Nota: American Political Science Review (APSR), American Journal of Political Science (AJPS), British Journal of Political Science (BJPS), Comparative Politics (CPS), e Comparative Political Studies (CPOL).

Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Examinando mais de perto, pode-se ver que os modelos contrafatuais, experimentais, mecanismos e bayesianos tendem a ser positivamente relacionados, e que os periódicos de Ciência Política são aqueles que apresentam mais preocupação com tais modelos. O traço distintivo, entretanto, são as relações com as análises institucionais, mais fortemente mobilizadas pelos periódicos da área de Política Comparada. Este dado ilustra bem uma divisão mais pronunciada entre periódicos mais institucionais e periódicos mais comportamentais, como sugerido na tese do Pluralismo Inferencial.

É importante entender também a variação da ocorrência dos atributos para o conjunto de artigos. Esta análise foi feita a partir da compreensão das distribuições – medidas pela probabilidade média e desvio padrão – para entender a intensidade de ocorrência dos atributos e como elas variam na população estudada.

Quando consideradas as Lógicas de Causação, como mostrado no Gráfico 5, observamos que cinco das sete lógicas situam-se nas faixas inferiores a 30% de ocorrência. Apenas os mecanismos (48%) e a análise institucional (80%) têm maior incidência média. Os experimentos possuem a maior taxa média comparativa entre os demais, exibindo, entretanto, uma grande variabilidade. Modelos bayesianos e contrafatuais têm uma probabilidade média de aproximadamente 10% (em um a cada dez artigos pode-se verificar a incidência destes termos). Muito reduzidas, entretanto, são as abordagens QCA e Fuzzy Sets.

<italic>Scatterplot</italic>: probabilidade média x desvio padrão, por atributo da dimensão “Lógicas de Causação” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

A distribuição dos atributos para a dimensão Desenhos de Pesquisa exibe o comportamento mostrado no Gráfico 6. A evidência mais forte de interesse para a análise aqui realizada é a elevada ocorrência da Validade. Isto mostra que, na média, para o conjunto de periódicos, a preocupação com questões de validade se mostra presente, indicando uma produção mais orientada pela qualidade inferencial, a despeito das variações entre periódicos. Também se ressaltam as elevadas taxas de ocorrência de atributos como Desenhos de Pesquisa, Endogeneidade e Sensitividade, em torno de 20%, o que reflete a tendência mais geral de uma Ciência Política mais orientada por inferência.

<italic>Scatterplot</italic>: probabilidade média x desvio padrão, por atributo da dimensão “Desenhos de Pesquisa” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Quanto às técnicas de análise, outra dimensão crucial do Pluralismo Inferencial, o Gráfico 7 revela haver uma ampla diversidade de possibilidades para a produção do conhecimento, como supõe a teoria do Pluralismo Inferencial. Os dados mostram também que instrumentos tradicionais de análise como o survey, a despeito da crítica e de toda a tendência experimental, continuam vivos, e com grande taxa de incidência. O mesmo pode-se afirmar das regressões (em suas diversas variantes), que mantêm elevadas taxas de incidência. Entretanto, a grande concentração de técnicas se situa em faixas inferiores a 30%, sendo bem marcante a diversidade de possibilidades, conforme já mencionado.

<italic>Scatterplot</italic>: probabilidade média x desvio padrão, por atributo da dimensão “Técnicas de Análise” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Por fim, no Gráfico 8 é apresentada a distribuição de outros atributos que oferecem uma compreensão mais ampla das características da produção de alto fator de impacto na Ciência Política. Os dados confirmam que a Ciência Política de alto fator de impacto, como examinamos com maior detalhe na seção seguinte, é fortemente orientada por Teoria, Modelos e pela preocupação com Efeitos, termos que atingem aproximadamente 90% de probabilidade de ocorrência, com reduzida variabilidade, configurando um padrão característico. Estes elementos estão presentes em 9 de cada 10 artigos na população estudada.

<italic>Scatterplot</italic>: probabilidade média x desvio padrão, por atributo selecionado (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Na faixa situada entre 30% e 70% de probabilidade, com desvios variáveis, situa-se a preocupação com “impacto” e “estimação” (que está diretamente associado aos efeitos), mostrando a importância da “estimação de impactos” que passa a ser uma característica forte na Ciência Política. Por outro lado, verifica-se a presença marcante de “testes de hipóteses”, “modelos formais” e de “explicação”, que revela, em ampla medida, a aderência aos modelos EITM, a qual sugere a conexão de teorias e modelos formais para a geração de inferências críveis. Outro ponto de grande interesse é a equivalência das probabilidades para as abordagens quantitativas e qualitativas. A presença do termo “inferência”, como comentado anteriormente, situa-se no patamar de 20% de probabilidade média de ocorrência, com elevada variabilidade comparada entre os periódicos, como já evidenciado no Gráfico 2.

 V. Ajuste Inferencial

A produção de alto fator de impacto analisada estaria se ajustando à condição de Pluralismo Inferencial? Nesta seção apresentamos evidências que buscam compreender o grau de ajuste inferencial para a população de 2.321 artigos nos cinco periódicos analisados. Serão verificadas empiricamente as dimensões contempladas na teoria do Pluralismo Inferencial, em duas etapas: a primeira envolve a comparação longitudinal de indicadores relativos à Força de Incidência do Termo (FIT) e evolução do Coeficiente de Gini para demonstrar a tese da diversificação das lógicas de causação e das técnicas de análise; a segunda envolve as análises de redução de dimensionalidade para tentar compreender as características latentes deste processo de ajuste.

V.1. Comparando a evolução da Força de Incidência do Termo (FIT)

Os dados analisados mostram que a divisão de trabalho ou “competição” entre abordagens comportamentais e institucionais31 revela uma maior presença de artigos considerados “comportamentais” ao longo do tempo, conforme indicado no Gráfico 9. A distribuição dos dados apresenta uma média de 0,685 (68,5%) e desvio padrão de 0,171 (17,1%). Embora haja uma maior probabilidade de ocorrência do termo “instituições” a partir de 2005, se configura uma Ciência Política em que a preocupação com o comportamento seja dominante em relação às abordagens institucionais. Esta tendência é importante para que se possa entender a crescente introdução de abordagens experimentais e quase experimentais que acompanham as abordagens comportamentais, reforçando a teoria do Pluralismo Inferencial. Espera-se que tal valor convirja para 0,5, que seria o ideal, se considerarmos amostras mais amplas envolvendo uma maior diversidade de periódicos.

Evolução da Força de Incidência dos Termos, “comportamento/instituições” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Outro sinal de ajuste ao Pluralismo Inferencial está na configuração de uma demanda crescente por inferência. Os dados apresentados no Gráfico 10 exibem tal tendência, mostrando que, a despeito de a probabilidade média de apenas 20% para a ocorrência do termo “inferência”, a Força de Incidência do Termo exibe uma tendência crescente a partir de 2005, passando de 13, no início da série, a um patamar de 60, em 2015. Este dado revela o aumento da preocupação dos artigos com questões ligadas à inferência causal, como evidenciado anteriormente. A crescente orientação por inferência passa a ser cada vez mais visível na produção do conhecimento aplicado da disciplina, sugerindo que a Ciência Política passe a ser cada vez mais conectada com técnicas estatísticas, econométricas e com modelos formais que possibilitem dar conta da necessidade de acessar inferência.

Evolução da Força de Incidência do Termo, “inferência” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Outra forte evidência que corrobora o Pluralismo Inferencial na população estudada é a orientação por “métodos” e “modelos”, também verificada empiricamente. No que se refere à relação entre “método” e “teoria”, conforme apresentado no Gráfico 11, pode-se verificar uma presença constante de “método” ao longo do período, com uma média de 11% e um desvio padrão de 1,6%. Por outro lado, é de se considerar relevante que a preocupação com “teoria” é bem marcante na produção aplicada, com uma distribuição de média 89%.

Evolução da Força de Incidência do Termo, “método/teoria” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Os dados da Tabela 3 permitem ver de forma mais detalhada a importância dos modelos e métodos na população estudada. Comparativamente, os dados mostram que o termo de maior incidência é “efeito”, com uma probabilidade média de ocorrência de 99%, observada aproximadamente 43 mil vezes na população estudada, revelando que a produção de alto fator de impacto coloca as questões dos modelos e dos efeitos como centrais. Como já mostrado na seção anterior, a importância de fatores como “impacto” e “estimação” também são indicadores desta primazia.

Ranking dos 10 termos mais incidentes
Atributo Fontes Codificadas Probabilidade Média Qtd. Referências Codificadas FIT
Efeitos 2.297 99,0% 43.505 43.055
Modelo 2.202 94,9% 38.067 36.115
Análise Institucional 2.172 93,6% 24.051 22.507
Análise de Dados (Tabelas) 1.992 85,8% 21.866 18.767
Teoria 2.168 93,4% 16.015 14.959
Estimação 1.823 78,5% 18.357 14.418
Modelos Formais 2.008 86,5% 11.260 9.742
Impacto 1.939 83,5% 11.325 9.461
Experimentos 1.788 77,0% 10.651 8.205
Sensitividade 1.813 78,1% 8.262 6.454
Fonte: O autor, a partir de Journal Citation Reports®, 2015.

O papel dos “modelos” é também decisivo. Confirmando as suposições de Clarke e Primo (2010), a Ciência Política é uma ciência orientada por modelos. O termo “modelo” possui uma probabilidade média de 95% de ocorrência e, no conjunto de artigos analisados, possui uma Força de Incidência de 38.067. Os “modelos formais” também se situam no top 10, com probabilidade de 86,5 de ocorrência e uma força de incidência de 9.742, o que atesta a força de ajuste aos modelos EITM. Verifica-se também a preponderância dos modelos sobre a teoria.

Como evidenciado na Tabela 4, que apresenta a comparação entre a FIT média para vários atributos, pode-se ver claramente que termos como “modelo”, “teorias”, “instituições”, “teste de hipóteses”, e “comportamento” dominam as cinco primeiras posições. Este dado mostra claramente o ajuste dos propósitos dos modelos EITM. Dada a natureza aplicada da população estudada, o termo “método” ocupa a sétima posição32. Os dados evidenciam que a presença dos “modelos” e das “teorias” na produção analisada é crucial para a organização disciplinar.

Valor médio da Força de Incidência do Termo (FIT) em função do ranking de 10 termos mais incidentes (2005-2015)
Ranking Termo FIT Média Desvio Padrão
1 Modelo 3.952 509
2 Teoria 1.438 243
3 Instituições 1.206 179
4 Comportamento 814 173
5 Teste de Hipóteses 688 153
6 Modelos Formais 680 129
7 Método 158 36
8 Mecanismos 139 56
9 Estimação 110 36
10 Experimentos 104 72
Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Compreendida a relevância dos modelos é importante entender como a inferência se estrutura no conjunto de artigos analisados. Para mensurá-lo, foi medida a distribuição dos termos mais associados ao termo “inferência”, a partir da Quantidade de Referências Codificadas (QRC), conforme mostrado na Tabela 5.

Quantidade de Referências Codificadas (QRC) (2005-2015)
Termo QRC % Inferência
Causal 1.069 64,5
Dados 1.065 64,2
Modelo 851 51,3
Efeitos 726 43,8
Variável 428 25,8
Inferência 1.658 100,0
Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Os dados da Tabela 5 mostram várias implicações relevantes. A primeira delas diz respeito à intensidade equivalente que os termos “causal” e “dados” são relacionados a “inferência”. Esta evidência revela que, na produção de alto fator impacto, ocorre uma busca por conhecimento inferencial causal. Essa busca se constitui em uma das características marcantes da Ciência Política nos últimos tempos e uma condição importante para a teoria do Pluralismo Inferencial.

Por outro lado, verifica-se uma conexão entre inferência e dados. Esta conexão se traduz ao longo dos anos em sensíveis mudanças no que diz respeito ao fato de Ciência Política ter progressivamente se transformado em uma ciência empírica fortemente pautada por estimação e inferência a partir de desenhos de pesquisa dotados de credibilidade, conforme sustentam os defensores dos modelos EITM.

A compreensão mais ampla das conexões com a inferência é mostrada no Gráfico 12, que apresenta a nuvem de palavras33 para os 30 termos mais diretamente associados ao termo “inferência”. A primeira delas recai sobre a importante conexão entre “inferência causal”, “modelos”, “dados” e “estimação de efeitos”. Vários termos associados à análise empírica, como “sample”, “test”, “statistical”, “variables”, “evidence” e “outcomes” revelam a natureza empírica que ainda orienta a produção de alto fator de impacto.

Nuvem de palavras: 30 termos mais incidentes com “inferência” Fonte: O autor, a partir de Journal Citation Reports®, 2015.

A outra dimensão que evidencia a condição do Pluralismo Inferencial está ligada ao ajuste progressivo da produção do conhecimento aos parâmetros estabelecidos pelos modelos EITM. Tal dimensão é vista aqui em duas formas. Como já mostrado anteriormente, teorias e testes de hipóteses representam termos de grande incidência na população estudada.

A primeira delas é mostrada a partir do indicador Teste de Hipóteses/Teoria, conforme mostrado no Gráfico 13. Os dados revelam uma expansão sensível da importância do teste de hipóteses em relação à teoria, o que reflete a clara orientação da disciplina em produzir modelos empiricamente testáveis para a geração de inferências críveis. A tendência de expansão do teste de hipóteses na produção é verificada pelos dados analisados.

Evolução da Força de Incidência do Termo, “hipóteses/teoria” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

A segunda mensuração do ajuste aos modelos EITM é mostrada a partir da evolução da força da incidência do termo “modelos formais”. Como apresentado no Gráfico 14, os dados revelam um padrão com dois momentos distintos. O primeiro deles, que vai de 2005 a 2010, em que os modelos formais exibem uma tendência expansionista revelando uma maior aderência aos pressupostos de formalização. No período seguinte, até 2015, verifica-se a tendência inversa.

Evolução da Força de Incidência do Termo, “modelos formais” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Outra dimensão de ajuste ao Pluralismo Inferencial está ligada à expansão da lógica experimental na produção de alto fator de impacto. A utilização mais intensa de uma gama de desenhos experimentais e quase experimentais tem permitido um grande avanço do acesso à análise causal especialmente diante de dados observacionais. A tendência de mobilizar questões relativas aos desenhos experimentais em suas diversas variantes – experimentos naturais, de campo, de survey, de laboratório e quase experimentos – é confirmada pelos dados analisados para a população estudada, como mostra o Gráfico 15.

Evolução da Força da Incidência do Termo, “experimentos” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Analisadas as tendências da Força de Incidência dos Termos, passamos a analisar agora a questão da diversidade das lógicas de causação e das técnicas de análise para mostrar a hipótese central do ajuste inferencial.

Existe, no período analisado, uma ampla gama de possibilidades no que concerne as técnicas de análise. Todavia, é importante mostrar que se verifica, ao longo do tempo, a condição de diversificação e sofisticação do portfólio das técnicas de análise. Para tanto, mostramos a evolução do Coeficiente de Gini para os componentes mensurados na dimensão D3 (técnicas de análise) no Gráfico 16, o qual mostra uma tendência de leve redução.

Evolução do Coeficiente de Gini para a Dimensão D3, “Técnicas de Análise” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

De forma similar, como evidenciado na tendência exibida no Gráfico 17, houve uma sensível desconcentração das lógicas de causação, confirmando o argumento do Pluralismo Inferencial. Isso significa que. ao longo do tempo, a busca crescente para resolver o problema do Pluralismo Inferencial, dentro das condições da explicação política, configura uma condição constitutiva em que coexistem múltiplas lógicas de causação, sendo este um traço distintivo da produção de alto fator de impacto.

Evolução do Coeficiente de Gini para a Dimensão D5, “Lógicas de Causação” (2005-2015) Fonte: O autor, a partir de Journal Citation Reports®, 2015. V.2. Dimensões latentes do ajuste inferencial

Compreendido o ajuste inferencial em termos de tendências longitudinais, é interessante mostrar algumas das dimensões latentes envolvidas no processo para entender mais de perto como se estrutura tal ajuste, e como se comporta, de forma mais estrutural, uma Ciência Política mais pluralista em termos de possibilidades inferenciais. Para tanto foi mobilizado uma Análise de Componentes Principais (ACP) para descobrir os fatores latentes que estruturam as dimensões D3 (Técnicas de Análise), D4 (Desenhos de Pesquisa) e D5 (Lógicas de Causação).

Para as técnicas de análise, os resultados revelam-se “minimamente adequados” para o emprego da técnica (KMO = 0,50), atendendo ao Teste de Esfericidade de Bartelett. Isso permite encontrar uma solução final após duas extrações com dois componentes, explicando 45,18% da variância exibida.

Conforme sugerem os dados do Gráfico 18, que exibe a distribuição espacial dos componentes Matriz de Componentes Rotacionados, podemos visualizar que o primeiro componente é impulsionado pelas Técnicas de Séries Temporais Transversais e Análise de Painel, que podem ser subsumidas aos modelos de Painel. O segundo componente é mais fortemente impulsionado pelos Modelos Espaciais. A configuração dos componentes é exibida no Gráfico 18.

Componentes rotacionados (Técnicas de Análise) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Para as Lógicas de Causação (Dimensão D5), os resultados da Análise de Componentes Principais (Gráfico 19) também se revelam “minimamente adequados” para o emprego da técnica (KMO = 0,50), e após duas extrações foi atingida uma solução final com dois componentes com significado latente relevante. Os dados mostram haver uma solução em dois componentes – Condições Causais e Controle e Rigor – que explicam 40,93% da variância nos dados. As condições causais estão diretamente ligadas à importância dos modelos contrafatuais e, por outro lado, o rigor se deve ao peso dos desenhos experimentais e dos modelos bayesianos na composição das lógicas de causação.

Componentes rotacionados (Lógicas de Causação) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

As evidências fornecidas pelo Gráfico 19 revelam espacialmente a configuração exibida para a relação entre as diversas lógicas de causação a partir da solução final. Estes dados evidenciam que a produção de alto fator de impacto se estrutura a partir da existência de múltiplas lógicas de causação, que disputam o terreno da inferência causal na produção aplicada na Ciência Política. As distâncias entre as lógicas de causação sugerem a “configuração” de diversos territórios em torno dos quais se pode compreender a pluralidade dos modelos de causação e da questão de gerar inferências: os modelos bayesianos, as análises institucionais, as análises contrafatuais; os experimentos, os mecanismos e as análises set-theoretical (QCA e Fuzzy Sets).

A conexão entre Pluralismo Inferencial e qualidade dos desenhos de pesquisa é bem marcada pelos dados analisados. A análise procurou compreender como se configuram os elementos essenciais para a qualidade dos desenhos de pesquisa, condição essencial para suportar a argumentação em torno do Pluralismo Inferencial.

Como se comportam as dimensões fundamentais que organizam a produção de alto fator de impacto quando se consideram os Desenhos de Pesquisa (Dimensão D4). Os dados revelam-se “minimamente adequados” para o emprego da técnica (KMO = 0,55). Como se pode observar na distribuição espacial da solução final exibida no Gráfico 20, dois componentes principais são relevantes, confirmando um ajuste destes desenhos à era da identificação, corroborando o argumento do ajuste inferencial.

Componentes rotacionados (Desenhos de Pesquisa) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Estes fatores latentes podem ser vistos na medida em que o primeiro componente compõe-se por fatores como “variáveis omitidas, endogeneidade e sensitividade”. Por outro lado, o segundo componente é configurado por atributos como “randomização e validade”. Estas evidências corroboram a tese de que os dois fatores latentes se aproximam de “identificação” e “experimentos”, respectivamente. Os dados corroboram o argumento de que a Ciência Política de elevado fator de impacto estaria entrando numa era de credibilidade com desenhos de pesquisa que crescentemente se orientam por gerar inferências críveis a partir de dados experimentais e observacionais.

A última evidência apresentada para corroborar a configuração da condição de Pluralismo Inferencial diz respeito à correlação entre as lógicas de causação e a inferência causal. Para tanto, procedeu-se a análise de agrupamentos pelo método de similaridade de palavras. O resultado é apresentado no Gráfico 21. Pode-se verificar a distribuição heterogênea do Coeficiente de Pearson, que mostra o quanto cada uma das Lógicas de Causação está associada ao termo “inferência”.

Correlação Inferência x Lógicas de Causação (Coeficiente de Pearson, critério similaridade de palavras nos Nós) Fonte: O autor, a partir de Journal Citation Reports®, 2015.

Configura-se um espectro marcado por uma primeira categoria – com valores de Pearson menores que 0,50 – que envolve os desenhos de pesquisa que mobilizam as “análises institucionais” (0,42), “experimentos” (0,42), “qualitativas configuracionais (QCA)” (0,42) e Fuzzy Sets (0,44). Por outro lado, existem três lógicas de causação que emergem com maior intensidade correlacional, os “mecanismos” (0,52), os “modelos contrafatuais” (0,56) e os “modelos bayesianos” (0,60, representando o mais forte padrão de associação).

 VI. Conclusões

As evidências apresentadas para os cinco periódicos revelam que, em grande medida, a produção de alto fator de impacto na Ciência Política vem se “ajustando” às regras de inferência no período 2005-2015. Os dados sugerem que a disciplina vem configurando uma “revolução de credibilidade”, na qual é possível observar a coexistência de uma diversidade de respostas plausíveis para lidar com o problema fundamental da inferência causal. A hipótese do Pluralismo Inferencial se confirma.

A Lógica de Explicação Política34 - contemplando instituições e outros fatores (p. ex., agência, contexto, cultura e história) - introduzem consideráveis limites aos desenhos de pesquisa que buscam identificações “limpas”, terminando por gerar um ajuste diferencial na Ciência Política. Nesse ajuste, a inferência vai além dos usuais métodos de estimação de efeitos. No Pluralismo Inferencial coexistem alternativas disponíveis para gerar conhecimento válido permitindo a convivência de múltiplas estratégias para confeccionar desenhos de pesquisa.

O Pluralismo Inferencial representaria, portanto, uma condição constitutiva da disciplina, marcada por forte orientação por inferência, pela primazia dos desenhos de pesquisa e, essencialmente, pela orientação por modelos e teoria, não se restringindo a geração de inferências ao problema da estimação, como na Economia. Ele vem consolidando uma transformação nas crenças, valores e práticas da comunidade científica na produção de alto fator de impacto, especialmente para o problema da identificação, i.e, de alternativas para lidar com o “problema fundamental da inferência”. A Ciência Política vem progressivamente se movendo para ampliar as condições para gerar melhores identificações, inferências causais de maior qualidade e maior credibilidade.

As evidências empíricas revelam a consolidação do Pluralismo Inferencial, que se traduz em uma configuração em que coexistem alternativas válidas para resolver o problema fundamental da inferência causal. Esta condição termina por configurar um campo de produção do conhecimento em que não existe desenho de pesquisa que possua o monopólio legítimo da inferência. Na Ciência Política contemporânea pode-se observar a coexistência de vários caminhos para gerar inferências causais válidas, tais como experimentos, quase experimentos, as inferências histórico-configurativas (process-tracing, QCA, estudos de caso), modelos bayesianos e as análises de narrativas – que estruturam respostas plausíveis para o “problema fundamental da inferência causal”

A principal implicação do Pluralismo Inferencial se traduz na ideia de que gerar inferência não se reduz ao problema de estimação dos efeitos causais que tem sido a tônica da chamada “revolução de credibilidade” e a era da identificação, na Economia. A era de identificação assume características diferentes na Ciência Política, onde, pelas razões apontadas, se verifica um portfólio diversificado de caminhos e estratégias de identificação para a geração de inferências causais que vão muito além da estimação de efeitos.

Os dados analisados revelam também outras importantes dimensões de interesse para a compreensão metodológica da disciplina. A presença marcante dos modelos como característica fundante deste ajuste nos sugere que a Ciência Política ainda é uma ciência fortemente orientada por modelos, modelos formais e metodologia, e que dispõe de uma ampla gama de possibilidades em termos de análise de dados. Em termos metodológicos, a principal contribuição do trabalho foi mostrar, a partir de dados observáveis e mensuráveis, como é possível, a partir de uma metodologia simplificada, identificar o quanto uma dada produção científica se ajusta ou se afasta das regras de inferência, que é um dos temas centrais na cientificidade de qualquer disciplina.

Artigo produzido no contexto da pesquisa Desenhos de Pesquisa e Qualidade Inferencial na Ciência Política com financiamento do CNPq desde 2012. Agradeço aos comentários, sugestões e contribuições dos colegas Manoel Santos (UFMG), Denisson Silva (UFMG), Mariana Batista (UFPE), Nara Pavão (Vanderbilt) e Caio Rios (UFPE). Os comentários e sugestões dos pareceristas anônimos da Revista de Sociologia e Política contribuíram substancialmente para a melhoria da nova versão.

Rezende (2015a) oferece uma análise detalhada destas transformações e seus impactos no padrão de cientificidade disciplinar.

Keele (2015) conceitua as estratégias de identificação como desenhos de pesquisa.

O Teorema da Ilusão Observacional, proposto por Green e Gerber (2004) argumenta que inferências causais de qualidade podem apenas ser produzidas a partir de desenhos de pesquisa experimentais, centrada nos modelos de resultados potenciais. Stokes (2014) oferece uma crítica concisa sobre o Teorema da Ilusão Observacional e uma argumentação plausível sobre as potencialidades e validade dos desenhos observacionais.

Este problema representa uma das questões fundamentais da ciência empírica moderna, e se traduz da seguinte forma: “não é possível observar, em simultâneo, uma dada unidade de análise na condição de tratamento e de controle”. Isso implica que não é possível gerar inferências causais válidas sem recorrência a bons contrafatuais e com estratégias de identificação (desenhos de pesquisa) que emulem os experimentos quando a randomização não for possível (Keele 2005; Angrist & Prisckhe 2009).

Gerring (2001) considera que a qualidade nas Ciências Sociais está relacionada a uma maior consciência sobre os trade-offs que os pesquisadores se defrontam quando mobilizam conceitos, formulam teorias e elaboram desenhos de pesquisa. A maior consciência sobre tais questões pode garantir a coexistência de uma pluralidade de métodos e modelos sem perder de vista o problema da cumulatividade da produção do conhecimento que é fundamental para o progresso de qualquer disciplina científica.

Brady (2008) considera a existência de quatro grandes lógicas de causação: covariacional, experimental, mecanismos causais e contrafactual.

Sartori (2009) considera que o conceito de Ciência Política exibe uma grande variabilidade e depende consideravelmente do que entendemos por “ciência” e por “política”. Ele considera o conceito de Ciência Política como uma conexão do ontológico (política) com o metodológico (ciência). Hay (2002) discute em profundidade tal problema.

Sil (2014) oferece uma compreensão dos pluralismos na Ciência Política a partir da concepção do ecletismo analítico. Esta concepção é ampliada em Sil e Katzenstein (2010), em que os autores lançam as perspectivas de integração como uma perspectiva mais pragmática e flexível entre os paradigmas e modelos na Ciência Política.

Como mostraremos adiante, este argumento tem conexões com a forma mais moderna de compreender tal problema como formulado por Mahoney e Goertz (2012), considerando a existência de duas lógicas de causação: direta e reversa.

Gerring (2005) considera que os desenhos de pesquisa estão intrinsecamente associados à causação. Estes devem ser considerados como estruturas altamente orientadas por critérios. Ele sugere haver sete elementos fundamentais que determinam a qualidade destes desenhos: plenitude, comparabilidade, independência, representatividade, variabilidade, transparência e replicabilidade.

No original “design trumps analysis”.

Dunleavy (2010) considera que a Ciência Política tem por propósito produzir explicações e produzir generalizações. Todavia, ele considera que a Ciência Política possui uma tarefa crucial que é a de, a partir de diversas perspectivas analíticas, gerar modelos e conhecimento integrável, que permitem que questões e problemas de pesquisa sejam continuadamente refinados em sua compreensão.

Ferejohn (2004) considera que as explicações em Ciência Política se dividem em externalistas e internalistas. A primeira categoria diz respeito as explicações que são centradas em fatores causais externos aos agentes; a segunda se volta para explicar o comportamento e a ação a partir de fatores internos.

Keohane (2009) considera que, embora o “santo graal” da Ciência Política seja a geração de inferências causais, os dois grandes problemas nesta tarefa são os problemas relacionados as variáveis omitidas e o problema da endogeneidade.

Uma análise contemporânea da explicação política pode ser vista em Daigneault e Béland (2015).

Em um instigante artigo, Przeworski (2007) discute com profundidade como tais características da explicação política afetam a qualidade inferencial na Ciência Política comparada.

Para um tratamento moderno do problema dos contrafactuais para inferências causais, cf. Morgan e Winship (2007).

APSA (2014) oferece avaliação sobre os limites dos métodos configuracionais na Ciência Política.

Para uma crítica atualizada dos limites inferenciais dos desenhos fuzzy, ver Krogslund et al. (2015).

Aldrich e Lupia (2008) fornecem uma excelente compreensão do paradigma.

Os artigos contemplados na amostra incluem exclusivamente artigos que se utilizam de teorias e modelos para análise empírica, não incluindo, portanto, revisões de literatura, opiniões editoriais ou artigos meramente metodológicos. Esta população de artigos foi acessada pelo Sistema dos Periódicos Capes.

A escolha desta periodização se deve ao fato de que é a partir de meados dos anos 2000 que as grandes transformações no que concerne à questão inferencial começam a se tornar mais nítidas e mais influentes na disciplina.

Para uma excelente revisão sobre tal técnica, ver Solka (2008).

Lowe (2008), Martin e Vanberg (2008), Monroe e Schrodt (2008), Elff (2013), Lowe e Benoit (2013), Lucas et al. (2015) e King, Lam e Roberts (2016) apresentam um conjunto representativo de referências de elevada qualidade para ilustrar os debates e questões sobre estas abordagens na Ciência Política contemporânea. Para uma excelente revisão do conjunto de possibilidades analíticas destas metodologias, cf. Grimmer e Stewart (2013).

Na realidade, um artigo acadêmico pode ser considerado como um conjunto de opções – substantivas, teóricas e metodológicas – realizadas pelo pesquisador e se assemelhariam a “posições políticas” num espaço decisório e aos modelos de “words as data”. Todavia, na análise aqui considerada é o componente inferencial que tenta estimar a posição em textos fora da amostra a partir de textos referenciais.

Eles chamam a atenção de que as análises voltadas para a classificação utilizando dicionários são aquelas em que os pesquisadores utilizam as frequências de palavras-chave para conhecer o tipo de documento analisado.

As consultas textuais específicas realizadas no NVIVO para a mensuração destas variáveis (e outras de interesse) são apresentadas no Apêndice.

É importante frisar que as mensurações realizadas nestas dimensões configuram uma das inúmeras possibilidades para capturar tais conceitos metodológicos. Longe de serem considerados “ideais” ou “mais adequados”, eles devem ser usados com parcimônia, e, devem ser refinados em estudos subsequentes.

O cálculo do Gini foi realizado através do Pacote Ineq do software R (cf. Zeileis & Kleiber 2014). A construção das séries do Coeficiente de Gini para mensurar concentração ou diversidade tornou-se possível a partir do procedimento simplificado produzido por Denisson Silva, da Universidade Federal de Minas Gerais (UFMG), criado especificamente para gerar tal coeficiente a partir da maneira específica que os dados de contagem por dimensão estavam organizados.

Medido pelo indicador “Comportamento/Instituições”, que mede a quociente entre a força de incidência para os termos “comportamento” e “instituições”, respectivamente. Idealmente, caso o Pluralismo Inferencial fosse atingido em sua máxima totalidade, este valor convergiria para 0,5.

Rezende (2016), numa análise similar para o principal periódico metodológico da disciplina, o Political Analysis, mostra que o termo “métodos” assume a primazia.

Como os periódicos analisados na população são escritos em língua inglesa, os termos exibidos na nuvem de palavras são mantidos em inglês.

Para uma excelente discussão contemporânea sobre a explicação política, cf. Daigenault e Béland (2015).

 Apêndice

Dicionário de termos por dimensão de análise. Consultas não-expandidas no Nvivo 10
Termo Estrutura de Consulta Textual Dimensão
Análise de Dados I (Figure) figure D1
Modelos Formais equation or function D1
Método method D1
Modelo model D1
Análise de Dados II (Table) table D1
Teoria theory D1
Efeitos effects D2
Estimação estimation D2
Teste de Hipóteses hypothesis or hypothesis testing D2
Estimação de Pontos Ideais ideal point D2
Impacto impact D2
Inferência inference D2
Modelos Hierárquicos hierarquical or multilevel D3
Monte Carlo monte carlo D3
Análise de Dados em Painel panel data D3
Escore de Propensão propensity score D3
Regressão regression D3
Logit logit D3
Probit probit D3
Tobit tobit D3
Modelos Espaciais spatial D3
Survey survey D3
Modelos de Sobrevivência survival D3
Time-Series time series analysis D3
Time-Series Cross-Section tscs D3
Variáveis Omitidas confounders or omitted variables D4
Endogeneidade endogeneity D4
Randomização randomization D4
Desenhos de Pesquisa research design D4
Viés de Seleção selection bias D4
Análise de Sensitividade sensitivity or robusteness D4
Validity validity D4
Modelos Bayesianos bayesian D5
Contrafatuais counterfactual D5
Experimentos experiment D5
Fuzzy Sets fuzzy D5
Análise Institucional institution D5
Mecanismos mechanism D5
Qualitative Comparative Analysis (QCA) QCA or “qualitative comparative analysis” D5
Behavior behavior s/d
Estudos de Caso case study s/d
Causação causation s/d
Explicação explanation s/d
Large-N large-n s/d
Policy policy s/d
Qualitativo Qualitative s/d
Quantitativo Quantitative s/d
Small-N small-n s/d
Voting voting s/d
Fonte: O autor.

Nota: Estas consultas são deliberadamente realizadas na população de artigos no termo “exato” com o propósito de mensurar a Força de Incidência do Termo (FIT). Por outro lado, consultas expandidas (que não mensuram apenas o termo, mas, capturam termos associados), que são necessárias para as análises de agrupamentos e geração de nuvens de palavras, por sua vez, foram realizadas no nó inferência para compreender como outros termos estão relacionados.

Dicionário de termos por dimensão de análise. Consultas não-expandidas no Nvivo 10

Referências Aldrich J.H. Alt J.E. Lupia A. 2008 The EITM Approach: Origins & Interpretations Box-Steffensmeier J.M. Brady H.E. Collier D. The Oxford Handbook of Political Methodology Oxford Oxford University Press Aldrich, J.H.; Alt, J.E. & Lupia, A., 2008. The EITM Approach: Origins & Interpretations. In J.M. Box-Steffensmeier; H.E. Brady & D. Collier, eds. The Oxford Handbook of Political Methodology. Oxford: Oxford University Press. Angrist J.D. Pischkie J.S. 2009 Mostly Harmless Econometrics: An Empiricist Companion Princeton Princeton University Press Angrist, J.D. & Pischkie, J.S., 2009. Mostly Harmless Econometrics: An Empiricist Companion. Princeton: Princeton University Press. Beach D. Pedersen R.B. 2013 Process-Tracing Methods: Foundations & Guidelines Ann Arbor The University of Michigan Press Beach, D. & Pedersen, R.B., 2013. Process-Tracing Methods: Foundations & Guidelines. Ann Arbor: The University of Michigan Press. Bond J.R. 2007 The Scientification of the Study of Politics: Some Observations on the Behavioral Evolution in Political Science The Journal of Politics 69 4 897 907 10.1111/j.1468-2508.2007.00597.x Bond, J.R., 2007. The Scientification of the Study of Politics: Some Observations on the Behavioral Evolution in Political Science. The Journal of Politics, 69(4), pp.897-907. DOI: 10.1111/j.1468-2508.2007.00597.x Brady H.E. 2008 Causation & Explanation in Social Science Box-Steffensmeier J.M. Brady H.E. Collier D. The Oxford Handbook of Political Methodology Oxford Oxford University Press Brady, H.E, 2008. Causation & Explanation in Social Science. In J.M. Box-Steffensmeier; H.E. Brady & D. Collier, eds. The Oxford Handbook of Political Methodology. Oxford: Oxford University Press. Brady H.E. Collier D. 2004 Rethinking Social Inquiry: Diverse Tools, Shared Standards New York Rowman & Littlefield Publishers Brady, H.E. & Collier, D., 2004. Rethinking Social Inquiry: Diverse Tools, Shared Standards. New York: Rowman & Littlefield Publishers. Clarke K.A. Primo D.M. 2012 A Model Discipline: Political Science & the Logic of Representations New York Oxford University Press Clarke, K.A. & Primo, D.M., 2012. A Model Discipline: Political Science & the Logic of Representations. New York: Oxford University Press. Daigneault P-M. Béland D. 2015 Taking Explanation Seriously in Political Science Political Studies Review 13 3 384 392 10.1111/1478-9302.12055 Daigneault, P-M. & Béland, D., 2015. Taking Explanation Seriously in Political Science. Political Studies Review, 13(3), pp.384-392. DOI: 10.1111/1478-9302.12055 Druckman J.N. Green D.P. Kuklinski J. Lupia A. 2006 The Growth & Development of Experimental Research in Political Science American Political Science Review 100 4 627 635 10.1017/s0003055406137119 Druckman, J.N.; Green, D.P.; Kuklinski, J. & Lupia, A., 2006. The Growth & Development of Experimental Research in Political Science. American Political Science Review, 100(4), pp.627-635. DOI: 10.1017/s0003055406137119 Dunleavy P. 2010 New Worlds in Political Science Political Studies 58 2 239 265 10.1111/j.1467-9248.2009.00834.x Dunleavy, P., 2010. New Worlds in Political Science. Political Studies, 58(2), pp.239-265. DOI: 10.1111/j.1467-9248.2009.00834.x Dunning T. 2008 Improving Causal Inference: Strengths & Limitations of Natural Experiments Political Research Quarterly 61 2 282 293 10.1177/1065912907306470 Dunning, T., 2008. Improving Causal Inference: Strengths & Limitations of Natural Experiments. Political Research Quarterly, 61(2), pp.282-293. DOI: 10.1177/1065912907306470 Elff M. 2013 A Dynamic State-Space Model of Coded Political Texts Political Analysis 21 217 232 10.1093/pan/mps042 Elff, M., 2013. A Dynamic State-Space Model of Coded Political Texts. Political Analysis, 21, pp.217-232. DOI: 10.1093/pan/mps042 Ferejohn J. 2004 External & Internal Explanation Shapiro I. Smith R.M. Masoud T.E. Problems & Methods in the Study of Politics New York Cambridge University Press Ferejohn, J., 2004. External & Internal Explanation. In I. Shapiro; R.M. Smith, & T.E. Masoud, eds. Problems & Methods in the Study of Politics. New York. Cambridge University Press. Gerber A. Green D.P. Kaplan E.H. 2004 The Illusion of Learning from Observational Research Shapiro I. Smith R.M. Masoud T.E. Problems & Methods in the Study of Politics New York Cambridge University Press Gerber, A.; Green, D.P. & Kaplan, E.H., 2004. The Illusion of Learning from Observational Research. In I. Shapiro; R.M. Smith & T.E. Masoud, eds. Problems & Methods in the Study of Politics. New York. Cambridge University Press. Gerring J. 2001 Social Science Methodology: A Criterial Framework New York Cambridge University Press Gerring, J., 2001. Social Science Methodology: A Criterial Framework. New York. Cambridge University Press. Gerring J. 2004 What is a Case Study & What it is Good for? American Political Science Review 98 2 341 354 10.4135/9781473915480.n7 Gerring, J., 2004. What is a Case Study & What it is Good for? American Political Science Review, 98(2), pp.341-354. DOI: 10.4135/9781473915480.n7 Gerring J. 2005 Causation. A Unified Framework for the Social Sciences Journal of Theoretical Politics 17 2 163 198 10.1177/0951629805050859 Gerring, J., 2005. Causation. A Unified Framework for the Social Sciences. Journal of Theoretical Politics, 17(2), pp.163–198. DOI: 10.1177/0951629805050859 Gerring J. 2007 Case Study Research: Principles & Practices New York Cambridge University Press Gerring, J., 2007. Case Study Research: Principles & Practices. New York. Cambridge University Press. Granato J. Scioli F. 2004 Puzzles, Proverbs, & Omega Matrices: The Scientific & Social Significance of Empirical Implications of Theoretical Models (EITM) Perspectives on Politics 2 2 313 323 10.1017/s1537592704040186 Granato, J. & Scioli, F., 2004. Puzzles, Proverbs, & Omega Matrices: The Scientific & Social Significance of Empirical Implications of Theoretical Models (EITM). Perspectives on Politics, 2(2), pp.313–323. DOI: 10.1017/s1537592704040186 Green D.P. Gerber A.S. 1999 The Underprovision of Experiments in Political Science Annals of the American Academy of Political & Social Sciences 589 94 112 10.1177/0002716203254763 Green, D.P. & Gerber, A.S., 1999. The Underprovision of Experiments in Political Science. Annals of the American Academy of Political & Social Sciences, 589, pp.94-112. DOI: 10.1177/0002716203254763 Grimmer J. Stewart B.M. 2013 Text as Data: The Promise & Pitfalls of Automatic Content Analysis Methods for Political Texts Political Analysis 21 3 267 297 10.1093/pan/mps028 Grimmer, J. & Stewart, B.M., 2013. Text as Data: The Promise & Pitfalls of Automatic Content Analysis Methods for Political Texts. Political Analysis, 21(3), pp.267-297. DOI: 10.1093/pan/mps028 Hay C. 2002 What’s Political About Political Science Hay C. Political Analysis New York Palgrave Macmillan Hay, C., 2002. What’s Political About Political Science? In Hay, C. Political Analysis. New York: Palgrave Macmillan. Keele L. 2015 The Statistics of Causal Inference: A View from Political Methodology Political Analysis 23 3 313 335 10.1093/pan/mpv007 Keele, L., 2015. The Statistics of Causal Inference: A View from Political Methodology. Political Analysis, 23(3), pp.313-335. DOI: 10.1093/pan/mpv007 Keohane R.O. 2009 Political Science as Vocation PS: Political Science & Politics 42 2 359 363 10.1007/978-1-137-57270-7_10 Keohane, R.O., 2009. Political Science as Vocation. PS: Political Science & Politics, 42(2), pp.359-363. DOI: 10.1007/978-1-137-57270-7_10 King G. Epstein L. 2002 The Rules of Inference University of Chicago Law Review 30 1 1 93 10.2307/1600349 King, G. & Epstein, L., 2002. The Rules of Inference. University of Chicago Law Review, 30(1), pp.1-93. DOI: 10.2307/1600349 King G. Keohane R. Verba S. 1994 Designing Social Inquiry: Scientific Inference in Qualitative Research Princeton Princeton University Press King, G.; Keohane, R. & Verba, S., 1994. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press. King G. Lam P. Roberts M.E. 2016 Computer-Assisted Keyword & Document Set Discovery from Unstructured Text Digit. Disponível em: http://gking.harvard.edu/files/gking/files/keywordalgorithm.pdf Acesso em: 22 ago. 2017. King, G.; Lam, P. & Roberts, M.E., 2016. Computer-Assisted Keyword & Document Set Discovery from Unstructured Text. Digit. Disponível em: http://gking.harvard.edu/files/gking/files/keywordalgorithm.pdf. Acesso em: 22 ago. 2017. Kohli A. 1995 The Role of Theory in Comparative Politics: A Symposium World Politics 48 1 1 49 Kohli, A. et al., 1995. The Role of Theory in Comparative Politics: A Symposium. World Politics, 48(1), pp.1-49. Krogslund C. Choi D.D. Poertner M. 2015 Fuzzy Sets on Shaky Grounds: Parameter Sensitivity & Confirmation Bias in QCA Political Analysis 23 1 23 41 10.1093/pan/mpu016 Krogslund, C.; Choi, D.D. & Poertner, M., 2015. Fuzzy Sets on Shaky Grounds: Parameter Sensitivity & Confirmation Bias in QCA. Political Analysis, 23(1), pp.23-41. DOI: 10.1093/pan/mpu016 Laver M. Benoit K. Garry J. 2003 Extracting Policy Positions from Political Texts Using Words as Data American Political Science Review 97 2 311 331 10.1017/s0003055403000698 Laver, M.; Benoit, K. & Garry, J., 2003. Extracting Policy Positions from Political Texts Using Words as Data. American Political Science Review, 97(2), pp.311-331. DOI: 10.1017/s0003055403000698 Lowe W. 2008 Understanding Wordscores Political Analysis 16 4 356 371 10.2139/ssrn.1095280 Lowe, W. 2008. Understanding Wordscores. Political Analysis, 16(4), pp.356–371. DOI: 10.2139/ssrn.1095280 Lowe W. Benoit K. 2013 Validating Estimates of Latent Traits from Textual Data Using Human Judgment as a Benchmark Political Analysis 21 3 298 313 10.1093/pan/mpt002 Lowe, W. & Benoit, K., 2013. Validating Estimates of Latent Traits from Textual Data Using Human Judgment as a Benchmark. Political Analysis, 21(3), pp.298–313. DOI: 10.1093/pan/mpt002 Lucas C.R.A. 2015 Computer-Assisted Text Analysis for Comparative Politics Political Analysis 23 2 254 277 10.1093/pan/mpu019 Lucas, C.R.A. et al., 2015. Computer-Assisted Text Analysis for Comparative Politics. Political Analysis 23(2), pp.254–277. DOI: 10.1093/pan/mpu019 Mahoney J. 2010 After KKV: The New Methodology of Qualitative Research World Politics 62 1 120 147 10.1017/s0043887109990220 Mahoney, J., 2010. After KKV: The New Methodology of Qualitative Research. World Politics, 62(1), pp.120-147. DOI: 10.1017/s0043887109990220 Mahoney J. Goertz G. 2012 A Tale of Two Cultures: Contrasting Quantitative & Qualitative Research in the Social Sciences Princeton Princeton University Press Mahoney, J. & Goertz, G., 2012. A Tale of Two Cultures: Contrasting Quantitative & Qualitative Research in the Social Sciences. Princeton: Princeton University Press. Marsh D. Savigny H. 2004 Political Science as a Broad Church: The Search for a Pluralist Discipline Politics 24 3 155 168 10.1111/j.1467-9256.2004.00216.x Marsh, D. & Savigny, H., 2004. Political Science as a Broad Church: The Search for a Pluralist Discipline. Politics 24(3), pp.155–168. DOI: 10.1111/j.1467-9256.2004.00216.x Martin L.W. Vanberg G. 2008 A Robust Transformation Procedure for Interpreting Political Text Political Analysis 16 1 93 100 10.1093/pan/mpm010 Martin, L.W. & Vanberg,G., 2008. A Robust Transformation Procedure for Interpreting Political Text. Political Analysis, 16(1), pp.93–100. DOI: 10.1093/pan/mpm010 Mc Dermott R. 2002 Experimental Methods in Political Science Annual Review of Political Science 5 31 61 Mc Dermott, R., 2002. Experimental Methods in Political Science. Annual Review of Political Science, 5, pp.31-61. Monroe B.L. Schrodt P.A. 2008 Introduction to the Special Issue: The Statistical Analysis of Political Text Political Analysis 16 4 351 355 10.1093/pan/mpn017 Monroe, B.L. & P.A. Schrodt, 2008. Introduction to the Special Issue: The Statistical Analysis of Political Text. Political Analysis, 16(4), pp.351–355. DOI: 10.1093/pan/mpn017 Morgan S.L. Winship C. 2007 Counterfactuals & Causal Inference: Methods & Principles for Social Research New York Cambridge University Press Morgan, S.L. & Winship, C., 2007. Counterfactuals & Causal Inference: Methods & Principles for Social Research. New York: Cambridge University Press. Morton R.B. 1999 Methods & Models: A Guide to the Empirical Analysis of Formal Models in Political Science New York Cambridge University Press Morton, R.B., 1999. Methods & Models: A Guide to the Empirical Analysis of Formal Models in Political Science. New York: Cambridge University Press. Morton R.B. Williams K.C. 2010 The Advent of Experimental Political Science Morton R.B. Williams K.C. Experimental Political Science & the Study of Causality: From Nature to Lab New York Cambridge University Press Morton, R.B. & Williams, K.C., 2010. The Advent of Experimental Political Science. In Morton, R.B. & Williams, K.C., eds. Experimental Political Science & the Study of Causality: From Nature to Lab. New York. Cambridge University Press. Plott C. 1991 Will Economics Become an Experimental Science? Southern Economic Journal 57 4 901 919 10.2307/1060322 Plott, C.,1991. Will Economics Become an Experimental Science? Southern Economic Journal, 57(4), pp.901-919. DOI: 10.2307/1060322 Przeworski A. 2007 Is the Science of Comparative Politics Possible? Boix C. Stokes S. Oxford Handbook of Comparative Politics New York Cambridge University Press Przeworski, A., 2007. Is the Science of Comparative Politics Possible? In C. Boix & S. Stokes, eds. Oxford Handbook of Comparative Politics. New York. Cambridge University Press. Ragin C. 1989 The Comparative Method: Moving Beyond Qualitative & Quantitative Strategies Berkeley University of California Press Ragin, C., 1989. The Comparative Method: Moving Beyond Qualitative & Quantitative Strategies. Berkeley: University of California Press. Rezende F.C. 2011 “A Nova Metodologia Qualitativa” e as Condições Essenciais de Demarcação entre Desenhos de Pesquisa na Ciência Política Comparada Revista Política Hoje 20 1 218 252 Rezende, F.C., 2011a. “A Nova Metodologia Qualitativa” e as Condições Essenciais de Demarcação entre Desenhos de Pesquisa na Ciência Política Comparada. Revista Política Hoje, 20(1), pp.218-252. Rezende F.C. 2011 Razões emergentes para a validade dos estudos de caso na Ciência Política comparada Revista Brasileira de Ciência Política 6 297 337 10.1590/s0103-33522011000200012 Rezende, F.C., 2011b. Razões emergentes para a validade dos estudos de caso na Ciência Política comparada. Revista Brasileira de Ciência Política, 6, pp.297-337. DOI: 10.1590/s0103-33522011000200012 Rezende F.C. 2015 Transformações Metodológicas na Ciência Política Revista Política Hoje 24 13 45 Rezende, F.C., 2015a. Transformações Metodológicas na Ciência Política. Revista Política Hoje, 24, pp.13-45. Rezende F.C. 2015 Modelos de Causação e Pluralismo Inferencial Working Paper. Núcleo de Epistemologia e Método Comparado na Ciência Política, Universidade Federal de Pernambuco. Recife. Rezende, F.C., 2015b. Modelos de Causação e Pluralismo Inferencial. Working Paper. Núcleo de Epistemologia e Método Comparado na Ciência Política, Universidade Federal de Pernambuco. Recife. Rezende F.C. 2017 O Pluralismo Inferencial na Ciência Política Pós-KKV (2005-2015): argumento e evidências Revista Política Hoje 26 1 241 277 Rezende, F.C., 2017. O Pluralismo Inferencial na Ciência Política Pós-KKV (2005-2015): argumento e evidências. Revista Política Hoje 26 (1), pp. 241-277. Rihoux B. Ragin C. 2009 Configurational Comparative Methods: Qualitative Comparative Analysis (QCA) & Related Techniques Thousand Oaks SAGE Publications Rihoux, B. & Ragin, C., 2009. Configurational Comparative Methods: Qualitative Comparative Analysis (QCA) & Related Techniques. Thousand Oaks: SAGE Publications. Rohlfing I. 2012 Case Studies & Causal Inference: An Integrative Framework New York Palgrave MacMillan Rohlfing, I., 2012. Case Studies & Causal Inference: An Integrative Framework. New York. Palgrave MacMillan. Rubin D.B. 2008 For Objective Causal Inference.Design Trumps Analysis Annals of Applied Statistics 2 3 808 840 10.1214/08-aoas187 Rubin, D.B., 2008. For Objective Causal Inference.Design Trumps Analysis. Annals of Applied Statistics, 2(3), pp.808–840. DOI: 10.1214/08-aoas187 Ryan A. 2004 Problems & Methods in Political Science: Rational Explanation & Its Limits Shapiro I. Smith R.M. Masoud T.E. Problems & Methods in the Study of Politics New York Cambridge University Press Ryan, A., 2004. Problems & Methods in Political Science: Rational Explanation & Its Limits. In I. Shapiro; R.M. Smith & T.E. Masoud, eds. Problems & Methods in the Study of Politics. New York: Cambridge University Press. Sartori G. 2009 What is Politics? Collier D. Gerring J. Concepts & Method in Social Science: The Tradition of Giovanni Sartori Abingdon Routledge Sartori, G., 2009. What is Politics? In D. Collier & J. Gerring, eds. Concepts & Method in Social Science: The Tradition of Giovanni Sartori. Abingdon: Routledge. Schneider C.Q. Wageman C. 2012 Set-Theoretical Methods for the Social Sciences: A Guide to Qualitative Comparative Analysis New York Cambridge University Press Schneider, C.Q. & Wageman, C., 2012. Set-Theoretical Methods for the Social Sciences: A Guide to Qualitative Comparative Analysis. New York: Cambridge University Press. Sil R. 2004 Problems Chasing Methods or Methods Chasing Problems? Research Communities, Constrained Pluralism & the Role of Eclecticism Shapiro I. Rogers M.S. Masoud T.E. Problems & Methods in the Study of Politics New York Cambridge University Press Sil, R., 2004. Problems Chasing Methods or Methods Chasing Problems? Research Communities, Constrained Pluralism & the Role of Eclecticism. In I. Shapiro; M.S. Rogers & T.E. Masoud, eds. Problems & Methods in the Study of Politics. New York: Cambridge University Press. Sil R. Katzenstein P.J. 2010 Beyond Paradigms: Analytic Eclecticism in the Study of World Politics London Palgrave Sil, R. & Katzenstein, P.J., 2010. Beyond Paradigms: Analytic Eclecticism in the Study of World Politics. London: Palgrave. Solka J.L. 2008 Text Data Mining: Theory & Methods Statistics Surveys 2 94 112 Solka, J.L., 2008. Text Data Mining: Theory & Methods. Statistics Surveys, 2, pp.94–112. Stokes S. 2014 A Defense of Observational Research Teele D.L. Field Experiments & its Critics: Essays on the Use & Abuse of Experimentation in the Social Sciences New Haven Yale University Press Stokes, S., 2014. A Defense of Observational Research. In D.L. Teele, ed. Field Experiments & its Critics: Essays on the Use & Abuse of Experimentation in the Social Sciences. New Haven: Yale University Press. Weller N. Barnes J. 2014 Finding Pathways: Mixed-Method Research for Studying Causal Mechanisms New York Cambridge University Press Weller, N. & Barnes, J., 2014. Finding Pathways: Mixed-Method Research for Studying Causal Mechanisms. New York. Cambridge University Press. Zeileis A. Kleiber C. 2014 Package ‘ineq’ Measuring Inequality, Concentration, and Poverty Disponível em: https://cran.r-project.org/web/packages/ineq/ineq.pdf Acesso em: 24 ago. 2017 Zeileis, A. & Kleiber, C., 2014. Package ‘ineq’. Measuring Inequality, Concentration, and Poverty. Disponível em: https://cran.r-project.org/web/packages/ineq/ineq.pdf. Acesso em: 24 ago. 2017. Outras fontes APSA 2014 Symposium: The Set-Theoretic Comparative Method: Critical Assessment & the Search for Alternatives Qualitative & Multi-Method Research 12 1 1 52 APSA, ed., 2014. Symposium: The Set-Theoretic Comparative Method: Critical Assessment & the Search for Alternatives. Qualitative & Multi-Method Research, 12(1), pp.1-52. Journal Citation Reports® 2015 Clarivate Analytics/Thomson Reuters Scientific, 2017. Disponível em: https://jcr-incites-thomsonreuters.ez67.periodicos.capes.gov.br/ Acesso em: 31 ago. 2017 Journal Citation Reports®, 2015. Clarivate Analytics/Thomson Reuters Scientific, 2017. Disponível em: https://jcr-incites-thomsonreuters.ez67.periodicos.capes.gov.br/ Acesso em: 31 ago. 2017.