Introdução

A adequação da amostra em pesquisas empíricas é um tema muito frequente nas seções de discussão de artigos científicos nos congressos da área de administração e também um dos pontos centrais das avaliações dos periódicos científicos das ciências sociais aplicadas. Questões sobre a qualidade dos dados oriundos das pesquisas online (versus offline), a compatibilidade das respostas dadas por estudantes universitários e por consumidores reais, a existência e tratamento dos missing values, entre outras, parecem não ter respostas adequadas. De fato, analisando a literatura que trata das estratégias de coleta de dados, seus vieses e benefícios, percebe-se um lapso temporal importante, pois os trabalhos mais relevantes são anteriores a 1980 e é possível admitir que, muitas características das coletas de dados, e mesmo dos respondentes, tenham mudado consideravelmente.

Certamente, a coleta de dados com utilização de amostras compostas por estudantes universitários não cessará, pois são estas consideradas “amostras cativas”. Do mesmo modo, com a facilidade do uso das ferramentas da web, a coleta de dados online tende a aumentar. Contudo, é relevante entender até que ponto estas estratégias de coletas produzem dados confiáveis e como gerar estímulos para que as taxas de resposta produzam bancos de dados robustos, possibilitando a aplicação de técnicas de análise sofisticadas e o teste de teorias e hipóteses.

Pesquisadores de marketing e cientistas sociais sempre estiveram conscientes da importância científica e prática na obtenção de uma alta taxa de resposta no questionário inicial, sendo que esforços de investigação em potenciais técnicas para melhorar taxas de resposta são praticadas desde 1950 (Biner & Kidd, 1994). Com isto, elaboramos dois objetivos para nosso estudo, sendo o primeiro identificar se realmente existem diferenças nos resultados de amostras oriundas de estudantes universitários quando comparadas com não estudantes adultos. O segundo objetivo foi identificar o efeito das diferentes estratégias de coleta de dados em pesquisas empíricas em ciências sociais aplicadas. Para isso, conduzimos 10 surveys com a aplicação de uma escala oriunda de um estudo de marketing (Dabholkar, Thorpe, & Rentz, 1996). Não existem motivos para acreditarmos que os resultados do nosso estudo seriam diferentes com aplicação de escalas oriundas de outras subáreas das ciências sociais aplicadas (como recursos humanos, empreendedorismo ou outros) e a aplicação na área de Marketing deu-se pela conveniência dos autores.

Diante desse cenário, estruturamos este artigo em cinco partes, além desta breve introdução. A segunda seção apresenta uma revisão bibliográfica inicial acerca da temática. A terceira seção descreve o método que será empregado na fase empírica da pesquisa. A quarta seção apresenta os resultados das coletas realizadas. Finalmente, na quinta seção, fazemos nossas considerações finais e apresentamos as contribuições obtidas.

Revisão bibliográfica

O objetivo principal desta sessão é apresentar os principais pilares teóricos para embasar o estudo empírico conduzido.

A coleta de dados pela web

Como o número de usuários de internet cresce a cada ano, pesquisadores usam métodos de coleta de dados via web com mais frequência. Entretanto, muitos pesquisadores e também empresas de pesquisa hesitam em usar a internet, principalmente pela preocupação com a validade da coleta (Schillewaert & Meulemester, 2005). Na comparação com a pesquisa offline, existe relativamente menos histórico, conhecimento e experiência no desenho e mensuração do instrumento online. É de crucial importância determinar como a internet afeta o design, a interpretação e a administração da pesquisa (Grandcolas, Rettie, & Marusenko, 2003).

Existem quatro principais fontes de erro que reduzem a acuracidade e validade de uma pesquisa, chamadas de cobertura, amostra, não-resposta e mensuração. A falta de endereços padronizados significa que não há um método para gerar uma amostra randômica como a do número aleatório na pesquisa telefônica. Há uma alta taxa de mudança em endereços de e-mails, de forma que a confiança em listas proprietárias de sites é insatisfatória. O erro de não resposta é função tanto da taxa de não resposta como das diferenças entre respondentes e não respondentes, nas variáveis de interesse (Grandcolas et al., 2003).

O uso da internet na condução de pesquisa quantitativa apresenta desafios não encontrados em pesquisa convencional. O conhecimento em relação ao design efetivo e uso de pesquisas em papel não se traduz no formato eletrônico. O desenho da pesquisa, privacidade e confidencialidade, amostra e solicitação do sujeito, métodos de distribuição, taxas de resposta e piloto de pesquisa são componentes metodológicos críticos que precisam ser resolvidos para a consecução de pesquisas online úteis (Andrews, Nonnecke, & Preece, 2003). Andrews et al. (2003) argumentam que pesquisas online são superiores a pesquisas por e-mail em muitos aspectos, mas e-mail combinado com meios offline é um excelente veículo para convidar indivíduos a participarem de pesquisas via web.

Tecnicamente, pesquisas eletrônicas devem ser desenhadas para: (1) suportar múltiplas plataformas de navegadores, (2) prevenir submissões múltiplas, (3) apresentar questões de maneira lógica e adaptativa, se necessário, (4) prover múltiplas oportunidades para salvar o trabalho em questionários longos (acima de 50 questões), (5) coletar dados em questões quantitativas e também questões do tipo narrativo, e (6) prover agradecimento após a pesquisa ser completada (Andrews et al., 2003).

Entre as vantagens da pesquisa online estão a obtenção de resultados mais rápidos e menor custo por observação. Além disso, a aplicação de questionários via web não sofre de viés de pesquisador e as pesquisas podem ser completadas de acordo com a conveniência do respondente, o que as torna menos intrusivas. A qualidade e a acuracidade dos dados via web é aumentada por menores erros de entrada de dados e maiores amostras. Além de se obterem amostras maiores e mais viáveis, é mais fácil, por essa via, se manter em contato com respondentes para estudos longitudinais. Finalmente, a coleta online favorece a personalização, subquestões, questões obrigatórias e a utilização de recursos audiovisuais (Schillewaert & Meulemester, 2005).

Em contraposição a esse entendimento, para alguns autores, a amostragem online é frequentemente considerada inválida. Sobre este aspecto, argumentam que ela tem problemas de validade externa, quando usada para estudar um problema em uma população cujo nível de penetração de internet não guarda proporção com a distribuição da população. Isso ocorre pois nem todo membro da população tem a mesma chance de ser incluído na amostra, o que torna a aplicação de probabilidades impossível (Schillewaert & Meulemester, 2005).

A literatura aponta um grande um número de vantagens em relação à coleta de dados pelo método online (McDonald & Adam, 2003). Essas vantagens estão, basicamente, ligadas aos custos menores (desde que não seja necessário desenvolver um software específico de alta complexidade), retorno rápido, menor erro de resposta, maiores estímulos aos respondentes (pela possibilidade de inclusão de gráficos, cor e som), menor perda de dados em questões pessoais e demográficas mais sensíveis e flexibilidade na interface de resposta, dando maior eficiência ao método (McDonald & Adam, 2003; Roster, Rogers, Albaum, & Klein, 2004). Porém, esses mesmos estudos destacam o significativo número de questionários não entregues, quer seja por problemas nos endereços eletrônicos, quer seja pela utilização de proteções nas caixas postais dos usuários (McDonald & Adam, 2003).

A questão da representatividade da amostra online e sua semelhança com o universo também já foi objeto de avaliação (Roster et al., 2004). Embora as diferenças possam estar se dissipando com a maior penetração da Internet nos domicílios, existe a possibilidade de que as amostras oriundas da web possam super-representar grupos, como consumidores jovens, e sub-representar importantes grupos, como os idosos, por exemplo (Roster et al., 2004). Provavelmente, mesmo que ainda aconteçam, estas diferenças são menos recorrentes nos dias de hoje.

Segundo o levantamento de Deutskens, Ruyter e Weizels (2006), estudos anteriores indicaram que pesquisas online produzem respostas mais desejáveis socialmente, respostas mais extremas, itens mais completos, maior variabilidade e maiores erros de mensuração. Os respondentes online, na sua maior parte, não podem correr a página, adiantar a visão, revisar respostas ou passar direto por itens, então podem experimentar um diferente nível de validação, o que se refere ao fenômeno no qual uma resposta dada a uma questão da pesquisa anterior pode afetar a resposta das questões seguintes. Além disso, a ansiedade gerada durante o uso do computador pode afetar as respostas. Mesmo diante disso, os autores concluíram que os resultados das pesquisas online e offline são comparáveis e produziram dados igualmente utilizáveis (Deutskens et al., 2006).

Pesquisas baseadas na web provêm da possibilidade de transferir as respostas diretamente à base de dados, eliminando erros de transcrição e prevenindo alterações da pesquisa pelo respondente. O desenhista da pesquisa na web tem uma ampla gama de opções textuais, controles de formato e gráficos não presentes em pesquisas conduzidas fora do ambiente virtual (Andrews et al., 2003). Mesmo diante do reconhecimento dessas vantagens, alguns pesquisadores acreditam que os resultados online não são generalizáveis para a população offline, pois a identificação da população online é impraticável. (Andrews et al, 2003). Contudo, esta opinião não é unânime, pois outros pesquisadores acreditam que o dado gerado via pesquisa online é basicamente idêntico ao modo tradicional pessoal (Bandila, Bosnjak, & Altdorfer, 2003).

Como pode ser facilmente identificado, ainda não há consenso sobre a validade dos dados oriundos das pesquisas conduzidas pela web, nem se os benefícios conquistados com sua utilização superam as desvantagens em termos de validade externa e confiabilidade.

Respostas espontâneas versus respostas obrigatórias

Outro tema de potencial de interesse é o uso de respostas obrigatórias. O impacto de respostas obrigatórias na omissão a itens e na taxa de respostas não tem sido examinado de forma sistemática, o que faria sentido, dado o alto nível de omissão em pesquisas online quando as respostas não são requeridas.

Qual seria a relação custo-benefício de se obter respostas completas, do ponto de vista de qualidade de dados? Também não foi devidamente pesquisado se o uso de respostas obrigatórias pode criar outros problemas, tais como baixa taxa de respostas ou baixa qualidade dos dados obtidos, caso os respondentes simplesmente cliquem em qualquer opção do questionário online.

Estudo anterior indicou que a premissa básica por trás da metodologia de escolha obrigatória é que, quando a pesquisa é apresentada com itens que estão virtualmente em ordem igual de desejabilidade social, respondentes tenderão a fazer uma seleção que é mais ou menos verdadeira, à medida que eles não estão se autoenganando. A evidência da literatura sugere um aumento de respostas verdadeiras e uma redução nos resultados de distorção de respostas, aumentando a validade do instrumento e possibilitando predições mais efetivas (Bentley, 2004).

Brazell et al. (2006) têm entendimento divergente ao de Bentley (2004). Os autores acreditam que a utilização de escalas de escolhas que incluem uma opção constante, ou seja, que não forcem o respondente, ou não apresentam a não escolha, têm maior eficiência, pela maior representação das escolhas do consumidor. Além disso, essas escalas proporcionam uma mensuração direta de demanda no contexto do mercado. Contudo, quando a opção de não escolha é selecionada, a informação sobre a relativa atratividade das outras alternativas existentes é prejudicada. Isso significa que os parâmetros associados com as alternativas disponíveis são estimados por meio de poucas observações, à medida que o número de não escolhas aumenta.

Para Smyth, Dillman, Christian, & Stern (2006), a questão de escolha obrigatória encoraja um processamento mais profundo das opções e é preferível ao formato da escolha de todas (ou nenhuma), que pode encorajar uma estratégia de dissimulação de resposta. Assim, respondentes escolhem mais opções e demoram mais a responder no formato de escolha obrigatória.

Esta inquietação empírica ainda não foi devidamente estudada, gerando então um gap metodológico interessante.

Opção de não resposta

Outra situação possível nas pesquisas é a inclusão da opção de não resposta nos questionários. Muitas vezes, o pesquisador tem que decidir se inclui escolhas não-substantivas explícitas (tais como: não sei, sem opinião). Essas questões podem desencorajar os respondentes quanto a reportar suas opiniões com significado (Krosnick, 1999).

Pesquisas anteriores foram inconclusivas ao verificarem se a inclusão da não opinião melhoraria a qualidade dos dados nas mensurações de atitudes (Hawkins & Coney 1981; Buchanan & Henderson 1992; Schneider & Johnson, 1994). Mesmo em estudos mais recentes, a evidência a favor do uso da não opinião como um filtro efetivo não foi claramente estabelecida (Krosnick et al., 2002). Para entender porque a exclusão de uma opção neutra pode alterar a distribuição das respostas, deve-se compreender porque os respondentes escolhem a neutralidade. Uma das possíveis razões é a existência de uma opinião verdadeiramente neutra. Outra razão fica evidente quando o respondente tem sentimentos dúbios sobre o objeto. Para se lidar com emoções associadas a trade-offs, às vezes, opta-se por um processamento simples ou nenhum processamento cognitivo (Keinan, 1987) e, mais geralmente, opta-se por evitar a escolha (Mick & Fournier 1998).

Pesquisas anteriores argumentam que uma atitude defensiva é uma resposta provável em escolhas difíceis (Dhar & Simonson, 2003), resultando em menor taxa de resposta, caso exista a possibilidade dos respondentes deixarem uma questão em branco, ou indicarem que não têm opinião sobre a questão. Além disso, existe o entendimento de que oferecer uma opção de não opinião poderia reduzir a pressão sentida pelos respondentes, ao fornecerem uma resposta substantiva, quando eles não têm uma opinião firme sobre o tema (Michaelidou & Dibb, 2006). Por outro lado, a perspectiva do contentamento sugere que a opção de não opinião pode desencorajar os respondentes ao fazerem o trabalho cognitivo de elaborar opiniões verdadeiras (Dillman, Singer, & Clark, 1996).

Utilização de recompensas para os respondentes

O uso de incentivos monetários, em geral, foi considerado efetivo em aumentar a taxa de resposta em pesquisas offline e online (Heberlein & Baumgartner, 1978; Yu & Cooper, 1983; Yammarino, Spangler, & Dubinsky, 1998).

Biner e Kidd (1994) propuseram uma explicação cognitiva para o crescente efeito das recompensas nas taxas de resposta, baseada na teoria da equidade pessoal, que sugere que recompensas ou incentivos adiantados estabelecem um padrão que deveria ser equitativamente seguido em termos dos custos do potencial esforço. Se este padrão é violado (um indivíduo percebe que foi supercompensado pelo esforço esperado dele), tentativas serão feitas para manter o equilíbrio entre o valor da recompensa e o esforço pessoal. Em termos de respostas de pesquisa, considerações de equidade pessoal farão parte do processo de tomada de decisão. Então, diferentemente da teoria da dissonância cognitiva, esta interpretação requer apenas que o indivíduo aceite a recompensa incluída para o processo de equidade ser ativado. Assim, se o indivíduo se percebe supercompensado, algum retorno será provavelmente feito para manter a equação.

A necessidade de manter a equidade, no caso de recompensas para respostas, seria proporcional ao incentivo, explicando uma relação linear entre taxas de resposta e valor de incentivo, como reportado em pesquisas anteriores. Também como a teoria da equidade sugere, aparentemente existe um componente de custo-benefício no processo de decisão do respondente e apenas quando o incentivo monetário for maior ou igual aos custos (tamanho e esforço do questionário), as respostas serão dadas.

Mesmo que justificada por Biner e Kidd (1994), a teoria da equidade pessoal não foi suportada empiricamente no estudo conduzido por Albaum (2007), que não identificou aumento da taxa de resposta quando ofereceram incentivos aos respondentes, e nem o inverso, quando esta oferta não foi realizada.

Incentivos monetários em dinheiro já produziram uma taxa de resposta significativamente maior que nas condições de não incentivo (controle) e incentivos destinados para a caridade (Bosnjak, Tuten, & Wittmann, 2005). Contudo, vários estudos obtiveram resultados divergentes. Em Cycyota e Harrison (2002), a taxa de resposta, quando houve o incentivo ao respondente, foi de 19%, sendo de 18%, quando o incentivo não foi oferecido. Resultados similares são encontrados em Summers e Price (1997) - 51% versus 49% - e em Schneider e Johnson (1995) - 44% versus 41%, indicando que, mesmo após diversos estudos, ainda existe uma lacuna acerca dos efeitos da utilização do incentivo monetário na taxa de resposta em pesquisas de campo.

Utilização de estudantes versus não estudantes nas amostras

Uma crítica recorrente recebida de avaliadores de congressos e periódicos da área de ciências sociais aplicadas, em especial no marketing, é a utilização de estudantes nas amostras de surveys e experimentos. Até mesmo os autores dos trabalhos científicos indicam a utilização de amostras compostas por estudantes universitários como um dos limites de generalização dos achados dos respectivos estudos. Essa indicação é tão (ou mais) frequente do que a característica não probabilística das amostras comumente utilizadas.

As opiniões acerca deste tema divergem drasticamente. Pesquisas seminais apresentam conclusões dicotômicas sobre o uso de estudantes. Se por um lado Schultz (1969) e Dill (1964) identificaram que a resposta dos estudantes diverge enormemente das respostas dadas por não estudantes, Oakes (1972) e Weick (1969) não encontraram as mesmas diferenças quando realizaram seus testes.

Em estudos mais recentes, a dúvida sobre a validade do uso de amostras compostas por estudantes parece ainda não ter sido adequadamente respondida. Existe a argumentação de que estudantes são “personalidades em formação” e que suas respostas divergirão fortemente daquelas dadas por indivíduos maduros e, por consequência, com mais experiência de vida (Carlson, 1971; Frieze, Sales, & Smith, 1991). Outro ponto abordado é a diferença na capacidade psicológica de lidar, ao mesmo tempo, com várias dimensões comportamentais. Além disso, existe também a alegação de que os estudantes possuem atitudes menos cristalizadas, quando comparados com o público adulto em geral.

Alguns pesquisadores afirmam que os estudantes apresentam opiniões mais homogêneas (Calder, Phillips, & Tybout, 1981; Kraus, 1995), maior impulsividade nas respostas (Greenberg, 1987) e também menor concentração quando pesquisados fora do ambiente de laboratório (Calder, Phillips, & Tybout, 1981). Complementarmente, outros estudos indicam que amostras compostas por estudantes são erraticamente adequadas, pois, ocasionalmente, não em todos os casos, apresentam consistência em suas repostas (Enis, Cox, & Stafford, 1972; Roering, Schooler, & Morgan, 1976; Wilson & Peterson, 1990). Com isto, entende-se que a questão permanece sem resposta.

Método

O objetivo principal desta seção é apresentar as etapas metodológicas que foram realizadas na fase empírica deste estudo.

Amostra e procedimentos

Realizamos uma série de 10 surveys, nos quais contamos com a participação de 3.560 respondentes, sendo 2.760 estudantes universitários e outros 800 adultos não estudantes universitários (com idade equivalente ao primeiro grupo). Em todos os surveys utilizamos as mesmas medidas e escalas.

Para verificarmos o efeito das diversas estratégias de coletas de dados nos dois grupos (estudantes e não estudantes), utilizamos, no Estudo 1, um desenho fatorial completo entre grupos (Pettersson, 2016), considerando como fatores a amostra (estudantes versus não estudantes) e a estratégia de coleta de dados online versus off-line.

No Estudo 2, analisamos o comportamento de participação de estudante universitários quando apresentados à instrumentos de coleta de dados online com resposta obrigatória versus sem resposta obrigatória. No estudo seguinte, analisamos o mesmo comportamento quando os alunos eram submetidos a instrumentos de coleta de dados online com a opção (versus sem) de não resposta (não sei/prefiro não responder). Finalizando, no Estudo 4, voltamos a analisar o desempenho de participação em pesquisas conduzidas pela web, porém comparando o desempenho quando era ofertada uma recompensa financeira versus uma recompensa em créditos em uma disciplina que estava sendo cursada.

A especificação da amostra alvo para cada estudo, assim como a estratégia de coleta de dados de cada survey, é apresentada na Figura 1.

As entrevistas online foram realizadas por meio do website QuestionPro. Os respondentes foram convidados a participar da pesquisa por meio de um link endereçado individualmente. As entrevistas offline foram realizadas presencialmente, com utilização de formulários de coleta de dados em papel. O acesso aos entrevistados foi realizado na saída de lojas comerciais (respondentes não estudantes) ou em universidades paulistanas (estudantes universitários).

Escalas utilizadas

Após conduzirmos pré-testes iniciais para verificarmos a adequação do formulário de coleta de dados, utilizamos a escala RSQ (Retail Service Quality) de Dabholkar, Thorpe e Rentz (1996) em todos os 10 surveys conduzidos. A escala RSQ, que já foi validada no Brasil (Lopes, Hernandez, & Nohara, 2009; Braga Jr. et al., 2012), tem como objetivo mensurar a qualidade percebida de estabelecimentos varejistas, por meio de 28 itens separados em cinco dimensões da qualidade (Aspectos Físicos, Confiança, Interações Pessoais, Solução de Problemas e Políticas Internas). Os itens são mensurados por meio de uma escala do Tipo Likert de 5 pontos ancorados em (1) Discordo totalmente e (5) Concordo totalmente. Para os testes com opção de não resposta, havia uma sexta opção (não sei/prefiro não responder).

Utilizamos os itens da escala RSQ traduzidos, que estão apresentados na Figura 2.

Solicitamos que os participantes respondessem os itens da escala tendo em mente o supermercado em que realizam suas compras com mais frequência. A figura do supermercado foi utilizada, pois é um tipo de varejo comumente frequentado por grande parte da população adulta (Demirci Orel & Kara, 2014).

Para validade nomológica (Malhotra, Lopes, & Veiga, 2014), utilizamos uma escala adaptada de Maxham III e Netemeyer (2002) contendo quatro itens para mensuração da Satisfação do respondente com o supermercado analisado, uma escala adaptada dos mesmos autores contendo três itens para mensuração da Intenção em Recomendar o varejista e, finalmente uma escala adaptada de Mittal, Ross e Baldasare (1998) contendo três itens para mensuração da Intenção de Recompra do respondente. Todos os itens foram mensurados por meio de escalas do tipo Likert de cinco pontos ancorados em (1) Discordo totalmente e (5) Concordo totalmente. Para os testes com opção de não resposta houve uma sexta opção (não sei/prefiro não responder). Os itens estão apresentados na Figura 3.

Para o teste da estratégia de recompensar os respondentes, oferecemos R$ 5,00 (cinco reais) para cada participante. Ressalta-se que todas as etapas foram pré-testadas, com o objetivo de verificar sua validade e adequabilidade.

Plano de análise de dados

Utilizamos a modelagem de equações estruturais, com o objetivo de verificar a dimensionalidade das escalas, as validades convergente (entre os itens e o construto) e discriminante (entre construtos) e as cargas dos caminhos estruturais. Para isso, utilizamos a estimação da matriz de partial least square, com o uso do software SmartPLS2.0M3. Contudo, nosso principal interesse foi analisar o tempo de preenchimento dos questionários online, a taxa de desistência/abandono, quantidade de missing values, mensuração do uso da opção “não sei/prefiro não responder” e variância between groups. Para esta fase, utilizamos o SPSS.

Resultados

O objetivo central desta seção é apresentar os resultados dos quatro estudos realizados.

Estudo 1 – Estudantes versus não estudantes com estratégias de coleta on e off-line

Iniciamos a coleta apresentando 800 instrumentos de coleta de dados (sendo 400 para estudantes universitários e outros 400 para não estudantes). Também convidamos pouco mais de 7.100 respondentes para participarem da coleta online (6.000 não estudantes e 1.100 estudantes universitários). Os convites foram feitos em ondas de 100 participantes, até que o total de 800 respondentes iniciassem as respostas no link enviado, sendo 400 estudantes universitários e 400 não estudantes (taxa de resposta aproximada de 6,5% para não estudantes e 36,3% para estudantes universitários).

A amostra foi composta, na maioria, por mulheres (n=592; 74%) com idade média de 29 anos (dp=5,2). A amostra de estudantes é ligeiramente mais jovem (Midade=22,7 anos) do que a de não estudantes (Midade=34,2 anos). A maior parte dos não estudantes declarou ter ensino médio completo (n=189; 47,2%).

A taxa de desistência, como apresentado na Figura 4, foi maior na coleta online (8,5%) do que na coleta offline (1,75%). A maior taxa de abandono foi verificada na coleta online entre não estudantes (11,5%), pois quase 50 participantes abandonaram a pesquisa.

É interessante notar que não há diferença no tempo médio de resposta do questionário online entre estudantes (M=7,3 minutos) e não estudantes (M=7,7 minutos; t₍₇₃₁₎=0,945; p=n.s.).

A análise multivariada não apresentou diferenças significantes entre os quatro grupos. Após verificarmos a validade convergente (todas as cargas dos itens foram superiores a 0,50) e convergente. Observadas pelo critério de Fornel-Larcker (1981), analisamos as cargas estruturais dos quatro modelos concorrentes. Para todos os grupos, as dimensões da escala RSQ foram adequadas para a composição do construto de segunda ordem (qualidade percebida em serviços). Do mesmo modo, a RSQ foi significante para estimar a Satisfação, a Intenção de Recomendar e a Intenção de Recompra.

Não houve diferença significante nas cargas dos modelos estruturais estimados para os quatro grupos (veja a Tabela 1). Em resumo, mesmo que os coeficientes de determinação sejam um pouco superiores para os não estudantes, o poder preditivo dos modelos é extremamente semelhante. Os coeficientes são apresentados na Tabela 1.

Discussão dos resultados do Estudo 1.

Os resultados do Estudo 1 divergem dos achados de Dill (1064), Schultz (1969), Carlson (1971) e Frieze et al. (1991). Em nossa investigação, não houve diferença significante entre as respostas dos estudantes, em comparação com as respostas realizadas pelos não estudantes. Aparentemente, mesmo que se considere que o estudante universitário ainda é um indivíduo em formação, na taxionomia de Frieze et al., (1991), esse fato não compromete a qualidade das respostas realizadas ao questionário. Do mesmo modo, não se veem diferenças significantes entre as respostas realizadas de forma online versus das respostas de participantes presenciais.

Porém, é importante salientar que a taxa de desistência nas coletas online tende a ser maior do que a que se observa nas coletas offline. Também é importante destacar a maior taxa de resposta observada na coleta realizada junto a estudantes universitários.

Com isso, é possível propor que amostras compostas por estudantes universitários são bastante adequadas, em termos que qualidade de resposta, não divergindo daquelas formadas por não estudantes e ainda com a vantagem de obterem uma maior taxa de resposta. Aliado a isso, como a taxa de desistência é melhor, provavelmente a utilização de estudantes universitários como amostra resulte em maior celeridade na condução de pesquisas em marketing/ciências sociais aplicadas.

Estudo 2 – Estudantes com estratégia de coleta com (versus sem) respostas obrigatórias

Neste estudo, utilizamos a coleta online para todos os casos. Esse procedimento foi adotado como forma de garantir a obrigatoriedade de respostas quando necessário. Para 400 respondentes, programamos a obrigatoriedade de resposta no QuestionPro. Com isso, caso houvesse algum item sem resposta, o software não permitia que o respondente avançasse para a próxima página/questão.

Apresentamos um link para convidar os estudantes a participar da pesquisa. Os discentes eram aleatoriamente submetidos a uma das duas condições da pesquisa (com versus sem respostas obrigatórias). O link foi apresentado para 1.800 estudantes (em ondas de 100 participantes), até que 800 iniciassem a resposta das questões (taxa de resposta de 44,4%).

A amostra foi composta na maioria por mulheres (n=418; 53,3%), com idade média de 23,1 anos (dp=3,8). Todos os estudantes são universitários de uma grande instituição de ensino superior brasileira.

Como pode ser observado na Figura 5, a taxa de desistência chega a 28,3% quando se força a resposta das questões. Mesmo com o uso de uma escala simples, a obrigatoriedade na resposta de todos os itens desestimula a amostra e o resultado é uma taxa de desistência bastante alta. Por outro lado, a estratégia de resposta não obrigatória induz a participação dos respondentes. Nesta nova aplicação, não houve diferença significante na taxa de desistência (4,8%), quando comparada com o survey 1 do Estudo 1

Interessante notar que o tempo médio de resposta aumenta significativamente quando a estratégica de coleta força as respostas (M_{respostaobrigatória}= 12,3 minutos; M_{respostanãoobrigatória}=7,54 minutos; t(667)=2,94; p<0,05).

Outro resultado interessante é que a estratégia de resposta não obrigatória resulta em uma quantidade elevada de missing values. Os itens que apresentaram maior problema foram AF6 (34 missings, 8,9%), C2 (61 missings, 16%), IP5 (49 missings, 12,8%), SP1 (48 missings, 12,5% ) e SP3 (44 missings, 11,5% ). Como alguns itens apresentaram missing values superiores ao que a literatura recomenda como limite crítico para substituição pela média do item (20% de acordo com Hair et al., 2009), decidimos eliminar 61 respondentes da base utilizada para as análises multivariadas subsequentes.

Após a verificação da validade convergente e da validade discriminante, como conduzido no Estudo 1, analisamos os caminhos estruturais dos dois modelos concorrentes. As cargas estão apresentadas na Tabela 2.

Um dos achados do Estudo 2 foi a redução do poder preditivo do modelo estrutural, quando a estratégia de resposta não obrigatória foi emprega na coleta de dados. Como a literatura recomenda a depuração do banco de dados, uma quantidade significativa precisou ser desprezada para que uma técnica multivariada de análise pudesse ser realizada. Com isso, a significância das relações estruturais foi reduzida e o poder preditivo do modelo também foi prejudicado.

Discussão dos resultados do Estudo 2

O maior achado do Estudo 2 foi apontar para uma grande taxa de desistência quando a estratégia de resposta obrigatória é utilizada. Outro ponto interessante é o tempo médio de resposta ampliado quando se obriga a resposta de todos os itens. Esse achado está alinhado com o estudo de Smyth et al. (2006), que identificou mais esforço de processamento mental quando se emprega esta estratégia de coleta de dados.

Um ponto a ser considerado para a decisão do tipo de estratégia de coleta é a definição do tipo de análise estatística que será empregada. Caso o pesquisador tenha o objetivo de utilizar alguma técnica de estatística multivariada, é recomendado que utilize a estratégia de resposta obrigatória – mesmo que a taxa de desistência possa ser elevada. Caso a opção seja por alguma técnica univariada, a opção de resposta não obrigatória parece ser a mais adequada.

Contudo, no geral, os dados obtidos com a estratégia de resposta obrigatória apresentaram maior poder preditivo da escala. Provavelmente, este resultado é explicado pelo maior esforço cognitivo realizado que pôde ser observado pelo maior tempo de resposta do participante.

Estudo 3 – Estudantes com estratégia de coleta com (versus sem) respostas obrigatórias e opção de não-resposta

Neste estudo, também utilizamos a coleta online para todos os casos. Para 400 respondentes, apresentamos a escala RSQ e as escalas de Satisfação, Intenção de recompra e Intenção de recomendar, com cinco opções de resposta, desde discordo totalmente até concordo totalmente. Para outros 400 estudantes universitários, apresentamos os mesmos itens com seis opções de resposta: os mesmo cinco do grupo anterior e uma sexta opção “não sei/prefiro não responder”, sendo que nenhuma resposta era obrigatória.

Apresentamos um link para convidar os estudantes a participarem da pesquisa. Os discentes eram aleatoriamente submetidos a uma das duas condições da pesquisa (com versus sem opção “não sei/prefiro não responder). O link foi apresentado para 2.100 estudantes (em ondas de 100 participantes), até que 800 iniciassem a resposta das questões (taxa de resposta de 38%).

A amostra foi bastante equilibrada em relação ao gênero do respondente (nHomens= 404; 50,5%). A idade média dos respondentes foi de 22,7 anos (dp=4,0), todos estudantes universitários de uma grande instituição de ensino superior brasileira.

Não foi observada diferença na taxa de desistência entre os dois grupos como pode ser observado na Figura 6.

O tempo médio de resposta foi igual para os dois grupos (M_comopção= 7,8; M_semopção=7,63; t₍₇₆₁₎=0,511; p=n.s.), indicando que a escala com seis opções de resposta não aumenta o esforço cognitivo do respondente. Porém, a maior flexibilidade dada pela opção de não resposta não reduziu a taxa de abandono.

Um achado interessante foi a similaridade entre os missings values observados na coleta sem opção de não resposta e a quantidade de respondentes que utilizaram a opção “não sei/prefiro não responder”. Novamente, as variáveis C2, IP5, SP1 e SP3 foram as que apresentaram maior volume de dados ausentes. Na média geral, a opção de não resposta resultou em uma quantidade maior de dados ausentes ; p<0,10). Os resultados são mostrados na Tabela 3.

Do ponto de vista da estatística multivariada, tanto os missing values quanto a opção de não resposta não podem ser considerados para fins de análise, principalmente quando o pesquisador faz uso de uma escala ordinal para coleta dos dados. Neste estudo, utilizamos a escala de Likert e, portanto, a sexta opção deve ser descartada.

Com isso, os bancos de dados foram ajustados (Com opção de não resposta: 383-59=324; Sem opção de não resposta: 379-47=332).

Após a verificação da validade convergente e da validade discriminante, como conduzida nos dois estudos anteriores, analisamos os caminhos estruturais dos dois modelos concorrentes. As cargas estão apresentadas na Tabela 4.

Não houve diferenças significantes na força das relações estruturais dos modelos, tampouco grandes diferença no poder preditivo. A estratégia de coleta de dados com opção de não resposta apresentou coeficientes de determinação levemente superiores à estratégia alternativa (R²_IRecomendar=0,59 e R²_IRecompra=0,75 versus R²_IRecomendar=0,51 e R²_IRecompra= 0,71, respectivamente).

Discussão dos resultados do Estudo 3

Não observamos diferença significante no tamanho das amostras válidas das duas estratégias de coleta de dados. Tampouco da taxa de desistência diferente. Contudo, quando a opção de não resposta esteve presente, houve um aumento no poder preditivo do modelo, contrariando os achados de Krosnick (1999) e Krosnick et al. (2002). Aparentemente, a opção de não resposta não desencoraja o respondente de refletir e expressar suas opiniões, principalmente quando o estudo não faz menção a questões de cunho social nos questionários ou naqueles em que a desabilidade social é característica.

Estudo 4 – Estratégia de resposta obrigatória com premiação financeira versus sem premiação não-financeira.

Neste último estudo, também utilizamos a coleta online para todos os casos. Para todos os 360 estudantes participantes, apresentamos a escala RSQ e as escalas de Satisfação, Intenção de recompra e Intenção de recomendar com cinco opções de resposta, desde discordo totalmente até concordo totalmente, sendo que o Questionpro foi programado para exigir respostas de todos os participantes.

Para 50% dos participantes (n=180), foi oferecida uma recompensa na forma de créditos em uma disciplina de marketing que estavam cursando (um ponto na prova final da disciplina); para os outros 50% foi oferecida uma recompensa financeira de R$ 5,00, que seria paga em dinheiro. Ao aceitar participar, o respondente era submetido, aleatoriamente, a uma das duas condições. Em todos os casos, os estudantes precisavam apresentar o número atribuído ao seu questionário (obtido ao final de sua participação) ao representante da sala para que, após validação, recebesse seu prêmio.

Como utilizamos o argumento da premiação antecipadamente, apenas não informando que tipo de premiação seria, esperávamos uma adesão forte dos estudantes que receberem o convite eletrônico. Ao final, a taxa de resposta foi de 98,8% (n=356).

A amostra final deste estudo foi composta por 196 homens (55%), com idade média de 23,3 anos (dp=4,6 anos), matriculados(as) no curso de Administração (n=84; 23,6%) e no curso de Tecnologia em Gestão de Marketing (n=272; 76,4%).

Como esperávamos, não notamos diferença no tempo de médio de resposta dos grupos (M_{prêmioemcrédito}=11,5 minutos; M_{prêmioemdinheiro}=11,9 minutos; t(331)=0,450; p=n.s.).

Por meio da Figura 7, é possível verificar que a taxa de desistência do grupo para o qual a recompensa financeira foi proposta (10,2%) apresentou uma taxa de desistência superior ao grupo que recebeu créditos

Após a verificação da validade convergente e da validade discriminante, como conduzida nos estudos anteriores, analisamos os caminhos estruturais dos dois modelos. As cargas estão apresentadas na Tabela 5.

A estratégia de coleta de dados parece não ter influenciado na significância dos caminhos estruturais dos construtos de primeira ordem e nem nas relações entre a variável independente (RSQ) e as variáveis dependentes. Contudo, nota-se que os coeficientes de determinação parecem ter sido positivamente influenciados, quando a premiação por créditos foi utilizada.

Aparentemente, os respondentes são favoravelmente influenciados neste contexto, visto que alguns coeficientes foram superiores a 0,9. Esse desempenho da escala RSQ não foi observado em nenhum dos estudos anteriores, inclusive nos conduzidos por outros autores (como reportado por Lopes, Hernandez e Nohara, 2010).

Discussão dos resultados do Estudo 4

A primeira constatação é que a taxa de resposta é positivamente impactada por qualquer estratégia de recompensa ao respondente (veja a Figura 8). Outro achado foi a identificação de que as estratégias de recompensam influenciam positivamente a taxa de desistência em um questionário com respostas obrigatórias (quando se compraram os resultados do Estudo 4 com o Estudo 3).

Uma terceira contribuição está ligada ao fato que de, no caso de estudantes, a estratégia de recompensa por meio de créditos em disciplinas tem um desempenho mais positivo do que as recompensas financeiras.

Além disso, a recompensa em créditos aumenta os coeficientes de determinação do modelo estrutural. Isso pode ser entendido como um aumento do poder preditivo gerado pelo uso da estratégia ou, por outro lado, uma tendência de que os resultados podem estar inflados. Mesmo que não tenhamos dados estatísticos para fazer esta afirmação (tanto os fatores de inflação da variância quanto a validade discriminante não apresentaram resultados discrepantes), sugerimos estudos futuros – provavelmente experimentais – com o objetivo de jogar luz sobre esse fenômeno.

Discussão dos resultados agregados

Ao final dos quatro estudos conduzidos, a amostra final válida foi composta por 3.280 indivíduos, sendo 2.539 estudantes universitários (77,4%) e 741 não estudantes (22,6%). Com o objetivo facilitar a leitura, apresentamos a Figura 8 com a totalização e discriminação das amostras finais por estudo.

Em grande medida, a qualidade do dado não foi afetada pelo tipo de coleta. No geral, os indicadores de convergência e discriminância foram adequados. Não observamos fortes alterações da significância das regressões realizadas e nem mesmo no poder preditivo dos modelos testados.

Este estudo se soma aos anteriores, que identificaram boa consistência na resposta de estudantes universitários. Mesmo que tenhamos como limite a utilização de uma escala na qual a desabilidade social não é um aspecto relevante, a amostra de estudantes foi tão adequada quanto a amostra composta por não estudantes. De fato, há até vantagens quando se utilizou a amostra de estudantes universitários, tanto na taxa de resposta quanto na taxa de desistência. Com os resultados deste estudo, encorajamos os pesquisadores da área das ciências sociais aplicadas a utilizarem este tipo de sampling, quando as escalas aplicadas não apresentarem questões de difícil posicionamento. Também encorajamos os pesquisadores a utilizarem a estratégia de resposta obrigatória, principalmente quando esses pretenderem analisar os resultados com o uso de estatística multivariada.

Encontramos evidências de que a utilização de estratégia de recompensas influencia positivamente a taxa de respostas e a taxa de desistência. No caso de estudantes, a recompensa por meio de créditos escolares é a melhor opção. Além de não resultar em maiores custos de pesquisa, a atribuição de créditos em disciplinas resultou em uma taxa de desistência melhor. Porém, até que outros estudos sejam conduzimos, recomendamos que os pesquisadores tentem atribuir créditos em disciplinas não correlatas ao tema da pesquisa, como forma de minimizar a inflação potencial dos resultados.

Ao final, encorajamos que os pesquisadores utilizem as ferramentas online de coleta de dados com parcimônia. Os resultados demonstraram que uma plataforma online não influencia a qualidade dos dados, porém afeta significativamente a taxa de resposta e a taxa de desistência. Com isso, quando a celeridade da coleta é uma necessidade – e muitas vezes isso é um fato – recomendamos a aplicação de questionários ou instrumentos de coleta de dados físicos e presenciais.

Reconhecemos que vários limites cerceiam o poder de generalização dos resultados deste estudo. Inicialmente, há a característica não probabilística da amostra. Outro limite é a característica da escala utilizada (RSQ), que não aborda questões de cunho pessoal ou de posicionamento individual que possam ser afetados pela desabilidade social. Para este último, recomendamos a utilização de escalas mais instigantes, como forma de verificar a consistência dos nossos resultados.

Outro limite que assumimos é que não testamos uma explicação empírica para a diferença do poder preditivo verificado na utilização da estratégia de remuneração (versus as demais). Para isso, como já indicamos, recomendamos o uso de técnicas experimentais para verificação de uma possível correlação entre estratégia de aplicação de pesquisa e os resultados multivariados encontrados.

Contudo, felizmente, uma limitação que muitas vezes é encontrada em pesquisas acadêmicas não será mencionada neste estudo. A amostra constituída por estudantes universitários é entendida como adequada e recomendada para estudos futuros em ciências sociais aplicadas, em especial no Marketing. Mesmo com os limites indicados, consideramos que o objetivo deste estudo foi atingido.