A categorização e a validação das respostas abertas em surveys políticos

The categorization and validation of open-ended questions in political surveys

La categorización y validación de las respuestas abiertas en encuestas políticas

La catégorisation et validation des réponses ouvertes dans les sondages politiques

Um método frequentemente usado nas ciências humanas é a entrevista (face-to-face) com a aplicação de questionários (paper e pencil) em surveys (Henkel e Almeida, 2003). No processo de aquisição dos dados ocorre a transformação destes em categorias. Enquanto respostas levantadas por meio de perguntas fechadas com o uso de escalas ordinais ou nominais e indicação dos atributos não causam problemas de categorização, respostas abertas em geral limitam esse processo e influenciam a validade do survey, porque nessa comunicação direta entre entrevistador e entrevistado são incorporados códigos, símbolos, significados e aspectos de moralidade ou ética que dificultam o processo da decodificação.

Do ponto de vista da metodologia científica, objetos abstratos são constituídos por várias dimensões, as quais não podem ser identificadas facilmente por meio de variáveis operacionalizadas em perguntas. Por mensuração, essas variáveis obtêm um atributo valorativo ou descritivo, que não pode ser escolhido livremente, visto que é o objeto que expressa esse valor. Enquanto o tratamento de dados valorativos não causa problemas, atributos descritivos podem, segundo Smith (2004, p. 303), indicar a existência de um relacionamento bidimensional, tridimensional, multidimensional ou n-dimensional entre si. O ordenamento dessas dimensões ocorre em classes que são consideradas categorias.

Este artigo trata do problema da categorização de respostas abertas em surveys políticos tendo como base a análise das respostas sobre política, governo e democracia levantadas em survey com 800 entrevistados na cidade de Belém do Pará. Para tanto, o artigo organiza-se da seguinte forma: na primeira seção, discutem-se os procedimentos técnico-metodológicos para lidar com as respostas em perguntas abertas em surveys políticos. A segunda seção apresenta a metodologia utilizada. Em seguida, na seção “Discussão e resultados”, apresentam-se o perfil dos entrevistados e uma análise psicométrica e de missing value para indicar a compreensibilidade e a respondibilidade das perguntas sobre política, governo e democracia. As seções “O processo indutivo de categorização” e “O processo dedutivo de categorização” apresentam, respectivamente, os resultados das abordagens indutiva e dedutiva dos dados de modo a se compararem seus limites e possibilidades para a qualidade da análise de respostas abertas de surveys. Finalmente, a seção “A inter e a intraconfiabilidade da codificação” discute os aspectos dos codificadores que podem afetar o processo de categorização das respostas e suas implicações para a análise.

Como procedimento técnico-metodológico na análise das respostas em perguntas abertas e na categorização, aplicam-se, em geral, a análise de conteúdo e a análise semântica. Para Mayring (2010, p. 602), a análise de conteúdo é uma análise interpretativa de textos por meio de decomposição do discurso e reconstrução racional de uma ideia central com a aplicação de regras lógicas a respeito da origem dessas mensagens com a finalidade de criar categorias. Trata-se, mais especificamente, de um procedimento sistemático do reducionismo para identificar a dimensionalidade do atributo. A análise semântica avalia os significados de palavras, frases, sinais e símbolos, e o decodificador incorpora-os inconscientemente na própria mente para criar categorias.

As análises semântica e de conteúdo aplicadas na análise da resposta em perguntas abertas permitem alcançar o primeiro estágio, a análise da organização e sistematização textual, mas o segundo estágio, a análise pragmática, necessita que o codificador apreenda a visão do mundo social do entrevistado, o que não é desejado em surveys.

O que dificulta a aplicação desses tipos de análise é o fato de que as respostas podem ser dadas como palavras-chave e não como texto flutuante, no sentido discursivo, o que depende muito do tamanho do espaço reservado para dar a resposta e da capacidade cognitiva do entrevistado.

Em termos de níveis categóricos, há categorias dicotômicas, tricotômicas, múltiplas e politômicas que descrevem a natureza e também a variação associada aos atributos das respostas. Teoricamente, pode-se estabelecer igual número de categorias assim como respostas diferentes obtidas no caso de uma pergunta aberta num survey. Além disso, elas precisam se diferenciar qualitativamente ou excluir-se mutuamente e, com isso, os atributos de uma categoria devem mostrar internamente uma homogeneidade (category internal consistency) ou, segundo Bortz e Döring (2006, p. 140), um sistema categórico deve possuir como critérios qualitativos a exatidão, a exaustividade e a exclusividade. Porém, e segundo Lind (2000, p. 9), somente 10% dos atributos podem ser considerados como atributos básicos de uma categoria, ou, segundo Tourangeau, Rips e Rasinski (2000, p. 240), a categoria representa uma proporção fixa de resposta do stimuli pergunta, enquanto os demais atributos têm uma variância aceitável ou já fazem parte da variância das demais categorias (Borges e Pinheiro, 2002, p. 57). Outras respostas não são categorizáveis porque expressam aspectos dimensionados tanto de forma física como mentalmente ao mesmo tempo, e não têm, segundo Sælensminde (2001, p. 271), uma variância claramente definida entre si (Gráfico 1):

Gráfico 1
Sistema de categorias
Fonte: Elaborado pelo autor.

Moraes (1999, p. 3) e Rosen e Rosen (1955, p. 401) citam como critérios qualitativos das categorias: relevância, atualidade, entrelaçamento com outras pesquisas (interlacing ability), contextualidade da resposta (response contextuality), plano de codificação, fácil gerenciabilidade (easy content management), flexibilidade da categoria (category flexibility), fácil alocação de resposta, fácil identificação do conteúdo da categoria (easy category identification), comparabilidade das categorias (category comparability), compreensibilidade das categorias (category comprehensibility), entre outros.

A análise de decodificação e interpretação qualitativa das respostas e a categorização a posteriori destas contêm também, segundo Gillham (2000, p. 70), aspectos da interculturalidade e da etnorracionalidade, que diferenciam o decodificador do entrevistado, conduzindo, segundo Vaus (2002, p. 100), à não utilização das categorias na vida real. O decodificador é, em geral, influenciado pela cultura, por valores, preconceitos ou até dogmas que ele aplica no momento da constituição de categorias, a qual é sujeita a um julgamento (Flango, Wenner e Wenner, 1975, p. 278). Por isso, no processo do estabelecimento das categorias, deve-se indicar que pensamento elas necessitam refletir, o do entrevistado, que representa o método indutivo, ou o do entrevistador, que representa o método dedutivo.

Referindo-se ao codificador, Krippendorff (2004, p. 214) indica dois tipos de qualidade a respeito disso: estabilidade – a tipificação das categorias se repete pelo mesmo codificador depois de um intervalo temporal ou o codificador repete as suas próprias decisões (Ʃcategoria₁t₁ = Ʃcategoria₁t₂;Ʃcategoria₂t₁ = Ʃcategoria₂t₂; ...) – e, no caso de codificadores diferentes, reprodutibilidade – codificadores agrupam respostas nas mesmas categorias. Graber (2004, p. 55) denomina a primeira situação de confiabilidade do codificador (intracoder reliability), interpretada por Laver e Garr (2000, p. 625) como exatidão da codificação, e a segunda de confiabilidade entre codificadores (intercoder reliability), chamada também de concordância entre codificadores (intercoder agreement).

Tendo apresentado os pressupostos da categorização e análise das respostas abertas em surveys políticos, a próxima seção apresenta a metodologia empregada pelo presente estudo.

Para analisar a percepção sobre “O que é política para você?”, “O que é governo para você?” e “O que é democracia para você?”, aplicou-se na pesquisa “A validação de surveys políticos”^[1] um survey em 79 escolas públicas da rede estadual de ensino no município de Belém com 800 estudantes (realizado de julho de 2014 a janeiro de 2015), no intuito de constituir uma base de dados (opinion poll) ou fonte de informação (information poll) (Althaus, 2003, p. 42). Para obter maior homogeneidade dos dados e para reduzir distorções de opiniões, as escolas foram selecionadas por meio de uma amostra aleatória simples, os entrevistados foram delimitados socialmente para a faixa etária de 18 a 24 anos e a aplicação do questionário somente ocorreu em uma sala de aula por escola. Esse questionário foi preenchido sob autoadministração do entrevistado e sem a interferência do entrevistador. As referidas perguntas constituem-se de questões abertas com espaço considerado suficiente para facilitar o preenchimento de uma resposta discursiva.

Para o processo indutivo da categorização (inductive category application) das respostas à pergunta “O que é política para você?”, foram escolhidos 30 questionários aleatoriamente e as respostas foram avaliadas segundo a análise de conteúdo, considerando-se a interpretação no contexto sociopolítico e semântico de Belém, o que resultou na criação de 19 categorias mais a categoria “outros”. Para o processo dedutivo, usaram-se categorias preestabelecidas segundo modelos teóricos (deductive category application), o que se pode declarar como interpretação das respostas e análise do texto com orientação qualitativa e guiada por categorias. As respostas foram codificadas por um só codificador.

Antes da aplicação do survey realizou-se um pré-teste do tipo psicométrico (Krosnick, 1999; Prüfer e Rexroth, 2000), para validar a facilidade em compreender as respectivas perguntas e em responder a elas. Foram selecionados aleatoriamente 50 alunos da faixa etária de 16 e 17 anos, que delimitam o survey para baixo, e 50 alunos com 24 anos, que delimitam o survey para cima. Utilizou-se um questionário específico de validação (Visser, Krosnick e Lavrakas, 2000, p. 241) com uso de escalas de intervalo, nas quais o entrevistado avaliou de 0 (muito difícil para entender) a 10 (muito fácil para entender) as perguntas. Para analisar diferenças significantes entre esses dois grupos, aplicou-se um teste t de Student e verificou-se a relação das perguntas supracitadas com a idade (correlação Pearson) e o sexo (eta).

Para elaborar um perfil socioeconômico de competências para responder às referidas perguntas, aplicou-se uma análise de não resposta (missing value) (Henkel, 2012). O termo missing value é mais usado para descrever as consequências estatísticas de um levantamento, devido à ausência do aspecto que se pretende mensurar na população amostral (Schafer, 1997, p. 10). Batinic et al. (1999) expressam com isso falhas do processo metodológico e de confiabilidade de uma pesquisa. Assim, neste artigo se entende a não resposta como uma omissão de informação devido à falta de compreensão cognitiva sobre o conteúdo da pergunta.

Para avaliar o processo da categorização das respostas pelos codificadores, usou-se o método metades partidas, chamado também bipartição do teste ou método de partir ao meio (split half). A técnica consiste em avaliar a consistência interna do mesmo instrumento (construct validity) por meio da comparação das codificações divididas em duas ou mais partes. Tziner et al. (1996, p. 185) recomendam para a mensuração dessa consistência ou grau de entendimento e estabilidade temporal o universalmente aconselhável índice alfa de Cronbach, e Hayes e Krippendorff (2007, p. 80), o coeficiente de concordância de Kendalls, Cohens Kappa, Spearmann-Brown e a correlação de Pearson, entre outros. Entretanto, não existe uma definição comumente aceita do que esses coeficientes verdadeiramente medem (Cortina, 1993, p. 98), os procedimentos algébricos são sempre diferentes (Cronbach e Shavelson, 2004, p. 405) e as respostas devem ser iguais em termos de compreensibilidade e conteúdo. Mesmo que existam vários métodos para dividir uma série em partes iguais, sejam duas (split half), quatro (split quarter) ou mais partes, estes sempre são arbitrários, e o índice de consistência é afetado pela forma de divisão dos itens. Ademais, o coeficiente varia por diversos fatores, como tamanho da amostra, tamanho textual e indicação de palavras-chave ou texto flutuante na resposta.

Os três codificadores precisariam teoricamente categorizar as mesmas respostas de cada questionário da amostra (n = 800), o que inviabilizaria esse processo de validação. Por causa disso optou-se pelo processo em que os codificadores categorizaram as respostas de questionários diferentes. Esse método é aceitável porque as respostas representam elevada homogeneidade e variações insignificantes. Em seguida, as respostas categorizadas de cada codificador foram divididas em duas partes iguais, sendo uma categorizada no início (t₁) e outra no final da codificação (t₂).

Na mensuração dos coeficientes se usou Cramer’s V para categorias dicotômicas (2 × 2 tabela de contingência) e Pearson’s Phi para categorias tricotômicas (3 × 2 tabela de contingência). Os dados foram informatizados e analisados com o programa SPSS.

Observa-se que, no processo indutivo de categorização, nenhuma categoria apresenta mais que 13% das respostas, além de haver uma contínua redução até menos que 1%, como as categorias “ordem”, “propaganda” e “ajudar o povo” etc. (Gráfico 2). O entrevistado não identifica a dimensão política como um ordenamento da aplicação de valores em público e identifica política positivamente (“...é uma união entre deputados e povo, debate”), negativamente (“...é roubo”), como também uma personificação da política (“...são mentirosos”; “...candidatos querem votos”), o que Brent (2014, p. 424) chama de uma bagunça partidária. O último item foi interpretado como negativo, porque a expressão “...querem votos” implica uma atitude por parte dos candidatos e representa na semântica local uma certa ação de exigir, um imperativo. Ao contrário disso, uma resposta, “...pedir votos”, contém o verbo transitivo no sentido incompleto que pede algum objeto e precisa da concordância do outro.

Gráfico 2
“O que é política para você?” (%)
Fonte: Elaborado pelo autor com base em survey com 800 estudantes de escola pública de Belém (PA), 2015.

Numa outra pesquisa, Wachelke e Hammes (2009, p. 523) estabeleceram 27 categorias no caso da representação social sobre política. Henkel (2011, p. 102) apresentou 21 categorias no caso do significado de política, 18 no caso de governo e 19 para democracia. No entanto, categorias politômicas não têm capacidade de uma grande diferenciação das respostas e, segundo Hillmann (2001, p. 27), são inúteis, uma vez que não refletem mais categorias diferenciáveis.

No início do período democrático recente, Kahn (1997, p. 184) explicou essa situação de agrupamento das imagens da população sobre assuntos políticos por categorias politômicas com base no fato de que as crenças em novas democracias seriam muito abstratas, vagas e incompletas, com muitas dimensões, permitindo inúmeras interpretações. Do mesmo modo, Moisés (1992, p. 41) mencionava que a população ainda não se acostumara totalmente com as novas instituições.

Para agilizar o processo de alocação das respostas e possibilitar uma comparação nacional e internacional, assim como devido aos altos índices de mv e categorias que não se diferenciaram mais, foi necessário mudar a metodologia. Enquanto na análise indutiva foi aplicada uma orientação realista que enfatiza entender política, governo e democracia segundo as ideias da população (grounded theory), o procedimento dedutivo é uma orientação idealista, no qual são aplicados modelos.

Há vários modelos para estabelecer categorias, independentemente das respostas. Há a abordagem dialética na construção de categorias, que consiste em começar com categorias dicotômicas, depois tricotômicas, e aumentar para politômicas. No caso das respostas sobre a ideia de política, Rudolf (2003, p. 76) usou as categorias dicotômicas que indicam um interesse próprio no sentido de obter um benefício individual e aquelas que não têm um interesse próprio, mas algo societal para distinguir o conteúdo destas respostas.

Outra categorização do tipo dicotômico são categorias que refletem “experiências” vividas na resposta do entrevistado, tais como corrupção, promessas ou propaganda etc., e categorias que refletem “ideais” nas respostas que o sistema deveria conter, tais como respeito, dignidade, igualdade ou liberdade, entre outros.

Hillmann (2001, p. 29) recomenda as categorias tricotômicas "materialísticas", "hedonísticas" e "individualísticas" para diferenciar as ideias sobre valores políticos. Brito (2007, p, p. 7) criou categorias politômicas, que se inter-relacionam e compreendem toda a política: o "contexto em que se insere a política", seu "processo de formulação, implementação, monitoramento e avaliação", o "conteúdo da política" e os "principais atores envolvidos". Porém, essas categorias precisam de uma cognição mais elevada e maior experiência por parte do codificador.

Nesse novo processo de categorização, optou-se por analisar inicialmente a resposta na posição dicotômica, se o conteúdo tem um sentido “positivo” ou “negativo” em relação a política, governo e democracia, o que representa, segundo Granberg, Kasmer e Nanneman (1988, p. 29), uma percepção política em que as respostas mostram certa diferenciação (Gráfico 3):

Gráfico 3
Percepção de política, governo e democracia (%)
Fonte: Elaborado pelo autor com base em survey com 800 estudantes de escola pública de Belém (PA), 2015.

Os entrevistados não criam necessariamente por entendimento próprio as percepções sobre política, governo e democracia, que talvez sejam transmitidas por intermediação de processos midiáticos e o resultado deve ser analisado no âmbito político de Belém, que está caracterizada por elementos como sistema patriarcal, relações de parentescos, que determinam em parte o sucesso profissional alcançável, nepotismo e forte influência de culturalismo e tradicionalismo. Por outro lado, a nova ordem socioeconômico-cultural nacional, ou democracia, uniu valores de pensamento que antes pareciam impossíveis de ser combináveis com o sistema político local, regional e estadual, como privilegiar uma sociedade mais igualitária, favorecer a mobilidade vertical e reconhecer o esforço individual dentro de um sistema que dá mais enfoque à meritocracia social, elementos que não se combinam facilmente com os relativos a sistemas tradicionais (Lopez Junior, 2006). Isso explica que a democracia seja bem mais percebida, porque nela ocorrem estas mudanças, e a percepção de política e governo seja menor, porque nestas esferas há a disputa pragmática sobre a aplicação de valores societais. A percepção negativa dos entrevistados relativa às três esferas não deve ser interpretada como um desinteresse político, mas sim como descontentamento político.

Democracia talvez não seja reconhecida como sistema societal, mas como modelo da ordem política, e uma percepção negativa por parte da população não implica que o entrevistado seja a favor de outro sistema, que ele de fato também não conhece. Esses aspectos dificultam uma comparação das respostas contidas neste artigo em relação aos levantamentos como o Eurobarômetro ou Latinobarômetro (Rose, 2002), porque cada um dos entrevistados tem uma experiência empírica de democracia diferente.

Uma correlação (eta e Pearson) entre variáveis socioeconômicas e educacionais comprova que entrevistados do sexo masculino percebem melhor as dimensões política e de governo que os do sexo feminino, devido à maior incorporação no mercado de trabalho, e consequentemente adquirem mais noções sobre essas dimensões. Entrevistados do sexo feminino, por sua vez, percebem melhor democracia, porque nesta as regras da disputa são mais bem definidas. Além disso, são principalmente os alunos do ensino médio que avaliam mais como “positivo” que “negativo” o governo, a política e a democracia. As causas explicativas dessa percepção diferenciada em relação aos demais grupos se traduzem na capacidade cognitiva elevada desses alunos, expressa indiretamente pelo estudo de ensino médio, e no seu reconhecimento como grupo social menos favorecido, porque fazem parte do ensino público, e devido a isso no contexto democrático e nacional recebem mais atenção pela política afirmativa e de igualdade social, tendo como consequência o acesso desses entrevistados às universidades por meio do Enem, Prouni ou Fies, o direito a benefícios sociais como Bolsa Família, e talvez pelo reconhecimento de alcançar prosperidade individual pelo próprio desempenho.

Embora Shepardson e Pizzini (1991, p. 675) tenham usado a forma tricotômica “input”, “processo” e “output” para caracterizar o modelo de Easton (1957), aplicou-se esse modelo na forma original dicotômica (Gráfico 4).

Gráfico 4
Percepção input-output e tipo de resposta sobre política (%)
Fonte: Elaborado pelo autor com base em survey com 800 estudantes de escola pública de Belém (PA), 2015.

Para diferenciar cognitivamente as respostas, optou-se também pela categorização dicotômica “afetivas” e “racionais”, como usaram Rechberger, Hartner e Kirchler (2009, p. 7). Para a psicologia, essas categorias refletem um diferenciado nível evolutivo do entrevistado, pois as respostas não estão vinculadas com a dimensão política, governo ou democracia, mas com a capacidade perceptiva e cognitiva do entrevistado em entender esses sistemas (Dell’ Agli e Brenelli, 2007, p. 568) (Gráfico 4):

As categorias “input” e “output” refletem a orientação, ou seja, como o entrevistado entende sua posição como cidadão dentro do Estado e sistema político. Almond e Verba (1963, p. 402) diferenciaram qualitativamente as orientações dentro do conceito civic culture nos grandes grupos, que são: cultura participativa (participant culture), paroquial (parochial culture) e subordinação (subject culture), e julgaram somente para a cultura participativa e subordinação uma orientação em input e output. Esse conceito é parcialmente baseado na concepção da escolha racional, mas deve ser reformulado por ideias como as de Shachar e Nalebuff (1999, p. 525), que supõem que o cidadão pode ter uma orientação não racional, mas sim afetiva em sustentar o sistema, porque é baseado em tradicionalismo e/ou cultura que conduzem a uma responsabilidade civil de apoiar um sistema qualquer, ter lealdade a este ou seguir um líder (follow the leader) (1999, p. 536).

Há dois elementos que permitem uma interpretação das respostas sobre política nos aspectos “racional” ou “afetivo”. O primeiro é o elemento “informações”, e em especial a mídia de telecomunicação na sociedade midiática. Nesta, categorias políticas não são transmitidas segundo uma lógica racional, mas são operadas com um inventário de sintaxes distantes da teoria normativa e por códigos estéticos selecionados midiaticamente, e muitas vezes se transformam em reportagens criminais. O que pode então causar uma resposta “afetiva” é a moralização da prática dessas dimensões apresentadas na mídia.

O segundo elemento, que pode causar uma resposta “racional”, é a redução de orientações culturais e tradicionais na interpretação de objetos políticos (política, governo, democracia, input, output) e maior incorporação de critérios reais, ou a pessoa parte do nível de representação individual para o nível agregado, em que ela representa um cidadão (Pickel e Pickel, 2007, p. 62). Klingemann (2012, p. 21) explicou essa mudança cognitiva por meio do processo de incremento das competências e habilidades pessoais (increase in personal skills), entendido como o crescente potencial dos indivíduos de dominar assuntos políticos.

A ideia de que o ensino formal nas escolas transmite competências e habilidades para operar melhor com a categorização não é confirmada por meio da aplicação de testes estatísticos (Pearson e eta) no caso dos entrevistados. Em uma comparação entre as variáveis “sexo”, “renda”, “presença de filhos”, “estado civil” e “conceito avaliativo” – composto pelas notas recebidas nas disciplinas português e matemática e entendido como variável substituta para medir a capacidade cognitiva − e as categorias “input”, “output”, “afetiva” e “racional”, não há grandes diferenças. Porém, existe a tendência de que entrevistados com mais de 20 anos de idade e da modalidade ensino médio regular reconheçam com maior intensidade o lado “input” na política e de maneira “racional”, enquanto entrevistados das modalidades ensino fundamental e EJA fundamental têm uma orientação mais para “output” e respostas “afetivas”. Os dados indicam que uma maior percepção de política nos aspectos “input” e “racional” pode ocorrer certamente por um processo que Dimaggio (1997, p. 273) chama de mobilidade cognitiva, mas principalmente quando o entrevistado muda o estado civil de “solteiro” para “casado/viver junto”, porém somente sob condição de presença de filhos, o que constitui a situação de uma família, e necessidade de uma atividade econômica, o que coloca o entrevistado num outro ciclo de vida que gera outra forma de percepção (life cycle perception).

Para a categorização tricotômica, usaram-se as categorias “estrutura”, “pessoas” e “processo”. A última categoria é, segundo Blyth e Varghese (1999, p. 359), menos restritiva na análise do sistema político do que a categoria “funcional” (Gráfico 5).

Gráfico 5
Aparência de política, governo e democracia (%)
Fonte: Elaborado pelo autor com base em survey com 800 estudantes de escola pública de Belém (PA), 2015.

Respostas como “...manda a merenda escolar”, “...um meio de ajudar ao povo”, “São as organizações que governam o país”, “Governo serve para governar a cidade”, “Responsabilidade e dever”, “São todos corruptos”, “Político pensa somente em si mesmo”, “Pessoas que ajudam nossa cidade” ou “É quando uma pessoa recebe o cargo para governar” não representam um pensamento sobre dimensões que são formal, constitucional e legalmente constituídas, mas sobre como política, governo e democracia são percebidos na sociedade. Essa percepção contém aspectos culturais e tradicionais, relativos a moralidade, criminalização da política etc. e reflete aspectos informais ou sistemas influenciados pela cultura política (Almond e Powell, 1966, p. 33). Pelas respostas verifica-se o que Toledo e Leal (2014) já haviam identificado: os entrevistados percebem as dimensões política e de governo mais personificadas do que a democracia.

Na próxima seção discute-se como aspectos subjetivos dos codificadores afetam o processo de codificação e sua confiabilidade.

Segundo Tourangeau, Rips e Rasinski (2000, p. 228), estímulos contextuais nas respostas são percebidos e interpretados de maneira diferente entre os decodificadores das respostas, causados por costume, estratégia, aspecto sensorial-visual e processo cognitivo. A codificação das respostas mostrou essa diferenciação e essa dificuldade na categorização, indicadas pelo alto percentual das respostas “não categorizável”, o que leva a uma situação de meia autoconfiança (middle self confidence) ou até baixo autoconceito (low self concept), termos usados por Mayring (2000) para distinguir a qualidade dos dados, que inclui, segundo Günther (2006, p. 205), aspectos como objetividade, fidedignidade, confiabilidade e comparabilidade, entre outros, termos usados para discriminar a validação de uma pesquisa.

Tabela 2
Validação da categorização (%), Cramer’s V e Phi

Enquanto o codificador 1 mostra na dimensão política uma estabilidade cognitiva da categorização das respostas entre t₁ e t₂, (Cramer’s V = 0.46 e phi = 0.5), o codificador 2 mostra uma fraca relação e o codificador 3, uma relação até negativa (phi = -0.37), o que indica uma reorientação no pensamento e uma percepção diferenciada entre os momentos t₁ e t₂ da codificação, menor concordância (inter-rater) e menor intercambialidade entre os codificadores 1 e 2. Durante a decodificação e a categorização, os codificadores estão sujeitos a um processo permanente de aprendizagem, o que representa, para Rossmann (2005, p. 25), uma codificação dinâmica que acrescenta a cada nova resposta novos atributos na lista mentalmente agrupada pelo codificador, o que pode causar uma reorientação e alocação da nova resposta numa categoria diferente, como seria no início do processo (Alves e Silva, 1992, p. 66).

Devido à formação dos codificadores 2 e 3 na área de conhecimento da ciência política, conclui-se que codificadores com enfoque teórico mudam mais facilmente o pensamento quando este é confrontado com a realidade expressada na resposta. Especificamente a relação das respostas codificadas no tempo t₁ nas categorias “afetivo” ou “racional” mudou no tempo t₂ e respostas inicialmente ainda codificadas como “afetivo” foram em seguida codificadas com mais frequência como “racional”, ou o codificador começou a aceitar uma resposta caracterizada de forma irracional agora como racional.

No que diz respeito a inter e intracodificação da dimensão governo, estas mostram uma maior confiabilidade nas codificações em relação à dimensão política, porém inferior em relação à dimensão democracia. Nesse caso, o codificador 1 gerou uma relação inversa (phi = -0.33) entre os intervalos, o que indica que uma percepção inicialmente preestabelecida mudou durante o processo da codificação.

No caso do codificador 1, devido à diferença insignificante de classificação nas categorias “positivo” e “negativo” durante o tempo t₁ e t₂ sem uma alocação de respostas na categoria “não categorizável”, houve a possibilidade de um framing. Este, para agilizar o tempo e o processo de categorização ou para criar uma autoimagem de competência, categoriza sem racionalidade (framing in communication). Essa circunstância pode indicar uma imutabilidade nos conteúdos das respostas, porém baseia-se no comportamento do codificador em não indicar mudanças categoriais, o que no stricto sensu inviabiliza testes de concordância entre t₁ e t₂.

No que se refere à dimensão democracia, as categorias “estrutura”, “processo” e “pessoa” mostram a maior quota de homogeneidade entre todas as categorias (Cramer’s V codificador 1 = 0.48; codificador 2 = 0.38 e codificador 3 = 0.48), ou os codificadores compartilham mais as ideias entre si.

A categorização de respostas obtidas por meio de perguntas abertas em surveys e a alocação das respostas nas categorias são processos que influenciam a qualidade e a validade da pesquisa. A maneira como se tratam respostas abertas, criação de categorias e codificação dos atributos, entre outros itens, embora importante, é pouco observada durante o processo de tratamento de surveys e, na maioria dos casos, está sujeita a avaliações subjetivas. Categorias dicotômicas e tricotômicas excluem-se mutuamente mais facilmente e mostram maior homogeneidade interna que categorias múltiplas ou politômicas, porque nestas as respostas dividem a variância com a outra categoria e dificilmente conseguem se diferenciar entre si.

No momento da categorização, o processo dedutivo foi identificado como superior, porque permite maior comparabilidade entre surveys do que o processo indutivo como método, que coloca o codificador na difícil posição de entender a semântica dos entrevistados que vivem num outro ambiente social. O processo dedutivo reflete mais o mundo acadêmico, porém as categorias dificilmente refletem a vivência social.

O que dificulta especificamente a alocação de respostas sobre política, governo e democracia é a multidimensionalidade desses aspectos. Uma análise da missing value mostra que “democracia” tem as mais altas quotas de não resposta, o que indica que esta não se representa de forma clara, e “governo” é percebido com uma forte personificação. O que os entrevistados percebem melhor é a “política”, que se manifesta em vários aspectos, seja transporte urbano, política habitacional, pagamento de impostos, enfim, o que o entrevistado sente no dia a dia.

No caso da codificação, os codificadores interpretam declarações, palavras simbólicas e conteúdos, e incorporam aspectos como moralidade ou ética de forma diferente na interpretação da resposta. Além disso, os codificadores, por causa do processo de codificação, começam a questionar a própria posição e se alinham às respostas do mundo do entrevistado, podendo codificar como racional algo que eles haviam codificado como irracional ou afetivo. Os resultados também mostraram elevada coincidência entre os codificadores na categorização das respostas (somente 40 respostas foram codificadas de maneira distinta entre codificadores diferentes de uma amostra de 800 entrevistados com um erro amostral estabelecido em 5%). Embora os valores de concordância entre codificadores possam mostrar níveis elevados, isso ainda não é um indício para uma alta confiabilidade, quando não se sabe como os codificadores procederam. Considerando a redução do número das respostas não categorizáveis entre t1 e t2, supõe-se um comportamento de framing do codificador, que deixa o processo de categorização mais rápido, porém torna menos confiáveis os resultados de testes de concordância.