Organização:
Tarcízio Silva
Jaqueline Buckstegge
Pedro Rogedo
ESTUDANDO CULTURA E
COMUNICAÇÃO COM
MÍDIAS SOCIAIS
Brasília, 2018
Estudando cultura e comunicação com mídias sociais.
Todos os direitos reservados.
©Instituto Brasileiro de Pesquisa e Análise de Dados – IBPAD, 2018.
Organização
Tarcízio Silva
Jaqueline Buckstegge
Pedro Rogedo
Preparação de texto e revisão
Monomito Editorial
Diagramação
Project Nine Editorial
Capa
Yuri amaral
Revisão acadêmica
Deborah Celentano
Brasília, 2018.
Todos os direitos desta edição reservados à
Instituto Brasileiro de Pesquisa e Análise de Dados – IBPAD
ibpad.com.br
facebook.com/ibpad
CONDUZINDO PESQUISAS COM QUESTIONÁRIOS
ONLINE: UMA INTRODUÇÃO ÀS QUESTÕES
METODOLÓGICAS
Márcio Cunha Carlomagno
1. INTRODUÇÃO
É crescente o número de pesquisas utilizando a aplicação de questionários
online, especialmente – mas não exclusivamente – entre jovens investigadores,
como mestrandos e doutorandos. A facilidade tecnológica, tanto para a criação destes questionários (ofertada gratuitamente por ferramentas como Google
Forms), quanto para sua difusão, traz um potencial problema: pesquisas problemáticas, seja por questionários mal formulados ou por desenhos de pesquisa
que não contemplam questões metodológicas desta ferramenta de pesquisa.
Este é um capítulo metodológico e didático, não de cunho empírico. Nosso
objetivo é apresentar uma introdução aos principais tópicos sobre surveys
online, suas limitações e técnicas de como proceder corretamente com sua aplicação. Desejamos ofertar à leitora e ao leitor um conjunto direto e sucinto dos
principais aspectos a serem considerados ao optar-se por esta ferramenta, reunindo uma bibliografia diversa. Não é propósito do capítulo apresentar novas
proposições ou aplicações, mas servir como entrada na área para jovens pesquisadores – público-alvo ao qual se destina.
O termo em inglês survey, apesar de sem equivalente preciso no português,
usualmente é traduzido como “levantamento de dados” (GÜNTHER, 2003).
Embora survey possa significar qualquer tipo de coleta ou levantamento de
dados, com o passar dos anos seu sentido estrito passou a ser usado somente
para um tipo de pesquisa: aquela com utilização de questionários. Neste sentido,
survey é um instrumento de pesquisa de opinião. Embora seja possível realizar
surveys com perguntas abertas, sua forma predominante caracteriza-se pelo uso
de perguntas fechadas, o que permite a comparabilidade das respostas. Outra
característica em surveys é que, usualmente, são amostrais. Mick Couper (2000)
propôs uma categorização dos tipos de survey online a partir da distinção entre
métodos de amostragem probabilística e não-probabilística. Este é um elemento
central para as pesquisas científicas. Em amostras probabilísticas, cada membro
31
de uma população possui uma chance de seleção, que é: (i) conhecida e (ii) diferente de zero. Em amostras não-probabilísticas, as chances de seleção são desconhecidas (COUPER; BOSNJAK, 2010). Nas palavras do autor, em amostras
não-probabilísticas, “inferências ou generalizações para a população são baseadas em saltos de fé ao invés de estabelecidos princípios estatísticos” (COUPER,
2000, p. 477). Ao contrário, em amostras probabilísticas, os resultados podem
ser extrapolados, com uma margem de erro que pode ser calculada para o universo que a amostra representa. Isso torna possível a realização de inferências
sobre o conjunto maior da população. O tipo de survey que podemos, cotidianamente, observar ser compartilhado em mídias sociais, como o Facebook, é o que
Couper (2000) chamou de “surveys com autosseleção irrestrita”. As principais
implicações amostrais deste tipo de survey, como veremos adiante, são a ausência de controle sobre os respondentes e o viés de autosseleção.
Podemos dividir os problemas metodológicos encontrados em surveys em
duas ordens principais: problemas de construção do questionário e problemas de
amostragem estatística (ALMEIDA, 2009). Este capítulo pretende apresentar um
resumo dos mais importantes tópicos nestes dois âmbitos. Não é nossa pretensão
esgotar o tema. Existem questões fundamentais relacionadas com as surveys que
não são nosso foco, tais como o potencial viés gerado pelas respostas socialmente
aceitáveis (ALMEIDA, 2009)1 ou de que maneira abordar temas polêmicos, como
preconceito ou corrupção (TURGEON; CHAVES; WIVES, 2014).
O capítulo se organiza da seguinte maneira: a primeira seção é dedicada
ao que chamamos “preliminares” – os elementos fundamentais na construção
de um bom questionário. A qualidade dos resultados de um survey depende
daquilo que antecede sua aplicação, que é a existência de um bom questionário.
Questionários online possuem suas idiossincrasias, que precisam ser levadas em
conta. Apenas transferir a mesma técnica dos questionários tradicionais para os
online é um equívoco. Por isso, tratar deste aspecto é fundamental. Reunimos
nove tópicos importantes aos quais o/a pesquisador(a) deve se atentar ao formular seu instrumento de pesquisa. A seção seguinte é dedicada aos “desafios”, ou
limites, enfrentados por questionários online, sobretudo em relação às questões
amostrais. Resumimos cinco tópicos, com especial destaque a três problemas: o
viés de autosseleção, a ausência de controle sobre os respondentes e a homifilia
1 Um dos exemplos mais célebres neste tópico é o chamado tory shy vote (voto conservador
envergonhado), termo consagrado na eleição de 1992 no Reino Unido. Muitas vezes, candidatos
conservadores vão sistematicamente pior nas pesquisas do que no desempenho nas urnas, pois há
uma pressão social que compele as pessoas a não se manifestarem favoráveis a candidatos deste
campo ideológico. Já há um debate recente se isso teria ocorrido na eleição de Donald Trump, nos
Estados Unidos, em que as pesquisas falharam em prever o resultado eleitoral (COPPOCK, 2017).
32
(a homogeneidade criada dentro de grupos sociais, que tendem a serem semelhantes e compartilharem os mesmos valores). Por fim, a seção seguinte sugere
três possibilidades em que surveys online podem ser aplicados com sucesso,
embora cada uma tenha suas limitações.
Uma vez que a ascensão do uso dos surveys online é saliente em uma série
de disciplinas, o potencial deste capítulo é multidisciplinar. Dada sua natureza metodológica, as considerações que apresentaremos servem não apenas
às investigações específicas de opinião pública, mas se aplicam também à realização de outras pesquisas que se valham do instrumento de questionários
online, em uma multiplicidade de áreas, tais como Sociologia, Administração,
Marketing, Comunicação Social, Publicidade e Propaganda etc. A relevância
deste capítulo, portanto, reside na sistematização, de forma didática, de uma
longa discussão metodológica nas Ciências Sociais.
2. PRELIMINARES
Muitos erros com pesquisas utilizando surveys podem ocorrer – e ocorrem –
por problemas na formulação de um questionário adequado (ALMEIDA, 2009).
Como ponto de partida, uma boa pesquisa depende de um bom questionário –
e os questionários online possuem suas particularidades. Embora este aspecto já
tenha sido tratado em clássicos como Almeida (2009), Günther (2003) e Fowler
Jr. e Cosenza (2008), jogaremos o foco nas particularidades do meio que estamos abordando, a aplicação online.
Lee (2006) sugeriu um check-list com três perguntas, para verificar se um
questionário está adequado: 1) Os entrevistados conseguem entender a pergunta? 2) Os entrevistados conseguem responder à pergunta? 3) Os entrevistados irão responder à pergunta? Para um questionário estar adequado, a resposta deve ser “sim” as três indagações. A seguir, abordaremos alguns tópicos
essenciais para obter-se as respostas positivas a estas perguntas.
I) Perguntas específicas
Perguntas devem buscar respostas para questões concretas e, acima de tudo,
serem claras e específicas (LAZARSFELD, 1954). O exemplo de uma pergunta
incorreta, ofertado por Lazarsfeld, é “por que você comprou este livro?”. Neste
caso, o respondente pode ter três âmbitos de resposta diferentes: “compra” (em
oposição a emprestar na biblioteca), “este” (em oposição a outros livros) e “livro”
(em oposição a outros produtos, como o ingresso para um show). Neste caso,
falta especificidade na pergunta. Perguntas que misturem diferentes âmbitos de
resposta possíveis levam a erros de análise.
33
A pergunta deve ser clara e objetiva, de modo que não reste margem para
compreensões distintas de dois respondentes diferentes. Por exemplo, na pergunta “você saiu para jantar fora recentemente?”, o termo “recentemente”2 pode
ser interpretado de formas profundamente diferentes a depender do respondente. É preciso que a pergunta seja direta e clara sobre o período que o/a pesquisador(a) deseja saber.
Podemos pensar em como ajustar essas perguntas, como exercício. Para
o primeiro caso, supondo que a questão era sobre o âmbito “este”, na compra
do livro, a pergunta poderia ser algo como “por que você escolheu [título do
livro]?”, eliminando, assim, os âmbitos que poderiam causar embaraço. No
segundo caso, “você saiu para jantar fora nos últimos 30 dias?” apresenta um
intervalo de tempo claro, sem margem para interpretações diversas.
Esse tópico também vale sobre tentar questionar a respeito de conceitos, que
são construções intelectuais humanas e, portanto, podem implicar interpretações
variadas. O conceito teórico que se queira medir precisa ser traduzido em perguntas
específicas – e são estas questões específicas que devem ser emitidas ao entrevistado.
Imagine a clássica pergunta: “em uma escala de ideologia política, como
você se considera?”, apresentando uma escala entre esquerda e direita. Mas, ora,
o que é esquerda e direita? É razoável supor que alguns respondentes poderão atribuir significados muito distintos a uma mesma posição. “Direita”, a
depender do entrevistado, pode significar tanto liberalismo econômico (livre
mercado) quanto conservadorismo moral. Pode significar ambos ao mesmo
tempo, mas também apenas um deles e não outro. Talvez existam pessoas que
sejam liberais econômicos sem ser conservadores morais – e vice-versa. Neste
exemplo, o ideal seria fazer, ao menos, duas perguntas: uma sobre liberalismo
econômico e outra sobre conservadorismo moral3, para que, depois, o/a pesquisador(a) construa, a partir dos dados, seu conceito de “ideologia política”.
II) Fluidez
O propósito de um questionário é duplo: seu primeiro objetivo é traduzir
os conceitos e hipóteses de pesquisa em perguntas e respostas específicas, a
fim de mensurar aquilo que se propõe e o segundo é motivar o entrevistado a
2 O mesmo se aplica a termos como “frequentemente”, “raramente” etc., por vezes encontrados
em opções de respostas. Estes termos não devem ser usados, substituindo-se pelo número exato
que se quer mensurar.
3 Perceba que, ainda assim, os conceitos continuam abstratos. Perguntar “o quão conversador
moral você é?” também não é uma boa solução, pois comporta diferentes interpretações do conceito. Devem ser feitas perguntas específicas sobre situações específicas. Como, por exemplo, no
caso do conservadorismo, “você é contra ou a favor do casamento homoafetivo?”, “você é a favor
ou contra o direito da mulher ao aborto?” e assim por diante.
34
continuar respondendo e concluir o questionário (CANNELL; KAHN, 1954).
O segundo ponto se torna ainda mais fundamental no caso dos questionários
online, que são autoadministrados, sem a presença de um entrevistador.
Quando falamos em fluidez, não significa que se deve apelar a recursos
heterodoxos, mas, pelo menos, não se deve atrapalhar o respondente. Deve-se
reduzir ao mínimo o esforço de leitura desnecessária. Evite redundâncias, evite
demandar do respondente um esforço que não é necessário para que ele responda à pergunta. Se alguma informação é desnecessária para a resposta, não
precisa ser incluída. Lembre-se que, enquanto nos questionários tradicionais o
entrevistador pode adequar tons de voz, nos questionários autoadministrados o
próprio respondente lerá as perguntas. Como veremos adiante, o tamanho das
perguntas também tem impacto direto nisto.
Podemos ressaltar algumas questões importantes para que o respondente
possa chegar ao fim do questionário, embora tal lista não seja exaustiva (outros
aspectos também podem ser pertinentes). Primeiro, o bloco de perguntas sobre
“perfil” do respondente deve vir ao final do questionário, não no seu começo.
Colocar perguntas sobre o perfil do indivíduo no começo pode ser duplamente
prejudicial: pode tanto cansar o respondente (com perguntas que, por serem
automáticas, não farão mal estarem ao final), como também enviesar as respostas, especialmente – mas não unicamente – se a pesquisa for sobre temas
sensíveis ou o respondente tiver respostas que não sejam esperadas para alguém
de sua posição social. Segundo, é necessário coerência e coesão interna na
ordem das perguntas. Perguntas fora de contexto podem causar estranheza,
além do potencial viés provocado. Terceiro, como veremos adiante, a forma
visual (layout) tem impactos diretos em surveys online. É necessária a adequação para os diversos dispositivos que podem ser utilizados pelo entrevistado
(mobile, tablet, desktop etc.). Por vezes nos deparamos com questionários em
que a página fica desconfigurada, a depender do dispositivo em uso. Isto é um
fator que cria dificuldades para que os respondentes completem o questionário.
III) As palavras
A forma – palavras e termos utilizados – com a qual a pergunta é apresentada pode influenciar as respostas. Este é um dos mais antigos tópicos relacionados com o estudo metodológico do efeito de surveys (RASINSKI, 1989;
SCHRIESHEIM; EISENBACH, 1995; SCHUMAN; PRESSER, 1977). Embora
continuem sendo debatidas suas diferentes intensidades, um ponto pacífico é o
fato de que a escolha de palavras importa.
Os termos utilizados podem influenciar as respostas a partir de diferentes
mecanismos. Esta influência pode ocorrer pela pressão psicológica em prol de
35
respostas socialmente aceitáveis ou pela simples falta de clareza, como em perguntas negativas – ou pior, de dupla negativa. Por exemplo, “você é contra o
fim do estatuto do desarmamento?” é uma pergunta confusa. A pessoa que é a
favor do estatuto do desarmamento tem que responder “Sim” (é contra o fim) e
vice-versa. Clareza é necessário, acima de tudo.
Bethlehem (2009) também alerta para o possível viés gerado pelo desequilíbrio nas respostas ofertadas. Por exemplo, a pergunta “você é a favor da pena
de morte?”, que tenha como possíveis respostas “(1) Sim, sem ressalvas; (2) Sim,
mas apenas em crimes hediondos; (3) Sim, mas apenas para criminosos irrecuperáveis e (4) Não.” é tendenciosa pois oferta três possibilidades de uma das
alternativas. Neste caso, deveria dividir-se em duas perguntas. Uma sobre apoio
ou não, outra sobre em que circunstâncias.
Além disso, no caso dos surveys online, os termos utilizados também podem
influenciar no autorrecrutamento, pois podem relevar os posicionamentos dos
pesquisadores (LEE, 2006). Um exemplo contemporâneo disto é o uso do termo
“presidenta” para referir-se à ex-presidente brasileira Dilma Rousseff. A despeito de estar gramaticalmente correto (e ter sido utilizado pelos órgãos oficiais durante seu mandato), socialmente o termo ficou marcado como um dos
identificadores dos apoiadores da ex-presidente, não tendo sido adotado pela
parte majoritária das grandes empresas jornalísticas. O uso deste termo, portanto, poderia indicar um olhar positivo sobre esta personagem. A assunção,
por parte do respondente, sobre qual o posicionamento do/da pesquisador(a)
tende a enviesar os indivíduos propensos a responder à pesquisa – e a compartilhá-la em seu meio.
Note que a influência pela escolha das palavras pode ocorrer não apenas
nas perguntas, mas também nas opções de respostas ofertadas, e na “apresentação inicial do questionário”. O respondente não precisa saber as intenções
dos pesquisadores, pois isso também pode interferir em suas respostas – só é
necessário que lhe sejam passadas as informações básicas necessárias para que
responda ao questionário.4
IV) A ordem das perguntas (e das respostas)
A ordem das perguntas pode influenciar nas respostas. Almeida (2009) mostrou que, mesmo com perguntas idênticas, duas pesquisas podiam produzir resultados consideravelmente diferentes apenas alterando a ordem das perguntas.
4 Em algumas áreas, os conselhos de ética exigem que informações completas e detalhadas sobre
os usos da pesquisa sejam fornecidas aos respondentes. Do ponto de vista meramente metodológico, isto é inapropriado.
36
O exemplo mais clássico talvez seja o da pesquisa de intenção de voto (ou
de avaliação de governo), onde, antes da pergunta com essa finalidade, questiona-se a satisfação do respondente com vários assuntos (como saúde pública,
educação, economia, segurança etc.). Nesta circunstância, tende-se a diminuir
a aprovação do mandatário (ou seu candidato). Ser “lembrado”, pelo próprio
questionário, de questões que podem interferir na resposta posterior, induz esta
resposta. Isto ocorre, sobretudo, pelo chamado learning effect – um assunto
tratado anteriormente conduz o pensamento do respondente em uma direção
específica (BETHLEHEM, 2009).
A ordem das perguntas é uma questão delicada em questionários online,
pois, hipoteticamente, o respondente pode, diante de informações apresentadas
posteriormente, retornar à pergunta anterior e alterar sua resposta. Uma solução para evitar isso pode ser a adoção de survey com multipáginas, separando
as perguntas em blocos diferentes, como abordado na seção (viii).
Ainda relacionado à questão da ordem de apresentação, a “ordem que as
respostas são apresentadas” também afeta as respostas (MALHOTRA, 2008;
MCFARLAND, 1981). Opções mais próximas das pontas (a primeira e a última)
tendem a ser mais escolhidas, em detrimento das opções que são apresentadas
no meio. Na aplicação presencial, a solução para isso – adotada, por exemplo,
em pesquisas de intenção de voto – é oferecer ao respondente um disco circular que contenha todas as alternativas. Na aplicação online, deve-se utilizar o
recurso “embaralhar a ordem das respostas”, ofertado por praticamente todas
as ferramentas online. Neste caso, a cada vez que o questionário for aberto, as
opções de resposta aparecerão em uma ordem diferente, de forma aleatória.
V) Respostas exaustivas e mutuamente exclusivas
Em perguntas nas quais apenas uma resposta pode ser dada (como é a parte
majoritária das perguntas utilizadas nestes questionários), as respostas devem ser
exaustivas e mutuamente exclusivas (FOWLER JR; COSENZA, 2008). Estes são
dois conceitos fundamentais e recorrentes na organização lógica de classificação,
como, por exemplo, nas categorias para análise de conteúdo (CARLOMAGNO;
ROCHA, 2016; KRIPPENDORFF, 2004).
Ser exaustivo significa que deve-se esgotar as possibilidades de resposta,
isto é, todas as respostas possíveis devem estar previstas como alternativas. Ser
mutuamente exclusivo significa que não pode existir a possibilidade lógica de
duas alternativas serem verdadeiras ao mesmo tempo. Elas devem se excluir
mutuamente.
Um exemplo que podemos ofertar de respostas não exaustivas é o de um
questionário que, ao perguntar a raça do respondente, ofereça as alternativas:
37
branco, negro, pardo, amarelo. Podemos notar que, além do “prefiro não responder”, falta a opção “indígena”. Embora talvez naquela pesquisa não fosse
esperado que nenhum indígena respondesse ao questionário, se esta é uma resposta possível, logo, deve estar prevista.5 O fato de que todas as respostas possíveis devem estar previstas implica que, por padrão, todas as perguntas devem
conter a opção: “Não sei/Prefiro não responder”, pois esta é uma possibilidade
de resposta dos entrevistados. Apesar dessa regra padrão, este tópico é um
pouco mais complexo, conforme trataremos no tópico seguinte.
A questão de respostas não mutuamente excludentes é mais grave, pois não
pode ser resolvida posteriormente, podendo vir a invalidar a pergunta e todas
as respostas obtidas. Um exemplo que pode ser ofertado, retomando a pergunta
“por que você comprou este livro?”, utilizada como exemplo anterior, seriam as
alternativas de resposta, em uma pergunta de resposta única: a) preço acessível, b) interesse pelo assunto ou autor, c) recomendação de amigos, familiar ou
conhecido, d) capa bonita e e) outros. Perceba que, neste exemplo, a exaustividade foi, ainda que mal, atendida com o uso da opção “outros”, mas as respostas
não se excluem mutuamente, pois mais de uma (ou mesmo todas) podem ser
verdadeiras ao mesmo tempo. No caso deste exemplo, haveria diversas saídas
possíveis. A mais rápida poderia ser qualificar melhor a pergunta, como “qual
o principal motivo por que você comprou...”. Neste caso, assume-se que outras
respostas também podem ser verdadeiras, mas se quer saber o principal motivo.
Uma segunda abordagem seria transformar a pergunta em resposta múltipla.
Este tipo de pergunta, contudo, tende a não fornecer respostas muito robustas,
pois não se sabe qual a ordem de importância dos fatores marcados. Uma terceira saída para o exemplo ofertado seria listar os fatores e pedir para elencar-se
a ordem de importância. Esta é a abordagem que fornece mais informações aos
pesquisadores, mas deve ser usada com parcimônia, pois, se utilizada de forma
excessiva, pode-se correr o risco de cansar o respondente.
VI) “Não sei”
O uso de uma opção “não sei” enseja uma longa discussão, quando em
pesquisas mais sofisticadas. Por padrão, precisa ser ofertado ao respondente a
possibilidade de dizer que não sabe alguma resposta. Contudo, alguns estudos
testaram cenários em que esta opção está ausente, apresentando resultados que
não são unânimes. Há argumentos que apontam indiferença (POE et al., 1988)
e que discutem quando utilizar ou não esta opção (MCCLENDON; ALWIN,
5 É preciso, contudo, ter cuidado para não criar alternativas demais de respostas. Muitas opções
geram perda considerável na qualidade da análise.
38
1993). O problema essencial é que a possibilidade de responder “não sei” pode
levar a “falsos negativos”, isto é, pessoas que tenham uma opinião – ainda que
fraca – mas estejam receosos de as expressar (GILLJAM; GRANBERG, 1993).
Quando o assunto da pergunta é fundamental para a pesquisa sendo conduzida – como mensurar o conhecimento político em pesquisas sobre participação e cidadania (MONDAK; DAVIS, 2001) –, não permitir estas respostas
pode ser útil. No entanto, vale ressaltar que esta é uma abordagem alternativa,
possível em algumas circunstâncias. Estas devem ser analisadas caso a caso, em
cada pesquisa. Por padrão, o recomendado é oferecer o “não sei”. Especialmente
em se tratando de questionários online, precisamos ponderar que, se a pergunta
for de resposta obrigatória (ou seja, aquele tipo que o respondente não a possa
“pular”), isto pode gerar um beco sem saída ao respondente, de forma que ele
simplesmente não consiga continuar a responder e abandone o questionário.
Além disso, a ausência de “não sei” (e, a depender da pergunta, “não se aplica”)
pode potencialmente aumentar também as respostas dos pontos médios.
VII) As escalas
Que tipos de escalas utilizar é uma questão delicada. O aumento do número
de pontos na escala até sete melhora a qualidade da medida, mas além disto não
há efeitos (FOWLER JR; COSENZA, 2008; LEE, 2006). As respostas são mais
consistentes (e com maior confiabilidade) quando todas as categorias estão
rotuladas com palavras, ao invés de apenas rotular os extremos ou usar unicamente números6 (FOWLER JR; COSENZA, 2008; LEE, 2006). Também é preciso que o conjunto de perguntas apresente coerência na direção e no tipo das
escalas. Se em uma pergunta você pede a concordância, na pergunta seguinte
a discordância e na próxima a concordância novamente, isto pode confundir o
respondente, ocasionando erros – o mesmo se aplica se você alternar os tipos de
escala (cinco pontos, sete pontos, cinco pontos) ao longo do questionário.
Lee (2006) argumenta que uma das importantes decisões que o/a pesquisador(a) deve tomar ao elaborar um questionário é oferecer ou não um ponto
médio na escala de respostas. Embora seja recomendável ofertar a alternativa
mediana, pois ela pode realmente melhor representar o posicionamento dos
respondentes, as pesquisas têm confirmado que a presença de um ponto médio
aumenta a proporção de respondentes adotando a resposta neutra (KALTON;
ROBERTS; HOLT 1980; PRESSER; SCHUMAN 1980).
6 Por outro lado, a vantagem do contínuo numérico é que mais do que cinco adjetivos podem ser
indistintos aos respondentes. Uma das mais utilizadas nestas pesquisas é a escala Likert.
39
A título ilustrativo, a figura a seguir apresenta a mesma questão em três
tipos de escalas diferentes: apenas os extremos rotulados; todas as categorias
rotuladas e ponto médio e todas as categorias rotuladas e sem ponto médio.
Figura 1 - Exemplo de escalas
Fonte: elaboração própria
Não há maneira correta ou errada, mas a que melhor se encaixa aos objetivos
da pesquisa. Em alguns casos, em que a nuance é clara, o ponto intermediário
pode ser pertinente. Em outros casos, pode ser uma estratégia mais vantajosa
não oferecer um ponto intermediário, para evitar o risco de uma parcela grande
escolher ficar “em cima do muro”.
Em qualquer caso, o/a pesquisador(a) deve escolher de forma consciente
sua escala e saber justificar esta escolha à luz de seus objetivos de pesquisa.
Vale lembrar que as escalas que você usará dependem, também, de como você
pretende tratar estes dados e da conversação com a literatura da área. Outro
elemento a se considerar é a adequação ao público-alvo.
XIII) A forma visual (layout)
Em questionários autoadministrados, em que não há um entrevistador para
auxiliar nas perguntas, questões que usualmente não se aplicam a questionários
tradicionais surgem. Uma destas questões salientes é a forma visual (layout)
40
com que o questionário se apresenta. Destacam-se dois aspectos: (a) design de
página única (estática) ou múltiplas páginas e (b) plano de fundo e cores.
A forma da página se refere a dois tipos visuais que o questionário pode
apresentar: uma página única, estática, com todas as perguntas de uma vez, que
demande a rolagem com o mouse, ou múltiplas páginas, que apresente somente
algumas perguntas de cada vez e que demande ao respondente clicar em “próxima” para acessar a página seguinte.
Embora os resultados sobre estas questões não sejam conclusivos – nem a
pesquisa conduzida até aqui esteja perto de seu fim, existindo muito caminho
ainda a ser explorado –, experimentos conduzidos por Manfreda, Batagelj e
Vehovar (2002) apontam que:
•
O design de uma página (estática): a) aumenta o número de não-resposta ao item, b) aumenta a correlação entre os itens (gera um viés de
associação nos respondentes) e c) diminui o número de desistências
(questionários abandonados antes de serem completados).
•
O design de múltiplas páginas: a) diminui a não-resposta ao item e b)
aumenta o abandono do questionário, sem finalização, sobretudo na
forma extrema deste design, em que cada questão ocupa uma página
(esta forma deve ser fortemente evitada).
Como se percebe, há pontos negativos e positivos nas duas formas. Os autores também testaram dois modelos visuais, um simples e outro com ilustrações
visuais. Os resultados da pesquisa indicam que o uso de logotipos aumenta o
número de respondentes abandonando o survey sem completá-los – embora
este aspecto esteja estatisticamente correlacionado ao equipamento usado e ao
tipo de conexão com a internet7. Pelo lado positivo, este design tende a diminuir
as não-respostas ao item. A comparação dos dois tipos, contudo, parece não
exercer influência sobre o conteúdo do que é respondido.
Em suma, o uso de recursos visuais pode tanto aumentar a atratividade
perante os respondentes quanto, eventualmente, torná-lo mais difícil de ser
acessado e completado, o que pode reduzir a taxa de respostas. Ganassali (2008)
sugeriu que a questão visual depende do tipo de incentivo visual, aumentando
a taxa de respostas quando o incentivo visual era relevante para a pesquisa. Ou
7 Aqui, precisamos ponderar o contexto em que foi produzida a pesquisa destes autores, que
talvez não se aplique mais atualmente.
41
seja, a recomendação de seu uso depende do contexto de cada pesquisa, não
havendo uma regra única para todas.
É uma boa ideia, contudo, especialmente no caso dos questionários multipáginas, o uso de um indicador de progresso. Permitir que respondentes saibam o
quanto estão próximos do fim previne que desistam na metade e diminui abandonos ao questionário (MANFREDA; VEHOVAR, 2008). Também é importante
certificar-se de que o questionário se adapte e responda corretamente aos diversos
dispositivos a partir dos quais pode ser acessado (tablet, desktop, smartphone etc.).
IX) O tamanho
O que, sistematicamente, as pesquisas têm concluído é que tamanho importa.
Tanto o tamanho do questionário quanto o tamanho de cada pergunta está
relacionado ao esforço requerido dos respondentes. Ganassali (2008) aponta
que o tamanho ótimo recomendado para questionários autoadministrados é
entre 15 e 30 questões e que o tamanho de cada questão não deve ultrapassar 20
palavras. Perguntas mais curtas diminuem a probabilidade de mal-entendidos
por parte dos respondentes. Além disso, questionários mais curtos têm taxa
de respostas mais alta (DEUTSKENS et al., 2004). Em questionários longos,
questões posicionadas próximas ao fim apresentam respostas mais curtas, mais
rápidas e mais uniformes do que as respostas de questões no começo (Galesic;
Bosnjak, 2009), sendo, portanto, enviesadas devido à questionnaire fatigue, o
cansaço do respondente (BETHLEHEM, 2009).
3. DESAFIOS
Nesta seção, resumiremos os principais problemas enfrentados na aplicação
online de questionários, sobretudo em termos de sua representação amostral.
I) Cobertura e erro amostral
O principal problema em surveys online – e motivo, até a presente data, por
que eles não podem substituir os surveys tradicionais – é a cobertura. Uma vez
que o acesso à internet não é distribuído igualmente na sociedade – mesmo em
países com alto acesso à internet, como os escandinavos, o uso efetivo pode
variar substancialmente (por exemplo, entre os mais idosos) – não é possível
construir amostras representativas da população somente a partir de aplicações online. A solução para isso é compreender – e claramente reconhecer – que
surveys aplicados online não representam a população. O recorte destes estudos
deve ser definido de maneira estrita. No melhor dos casos, à população com
acesso à internet; na maioria dos casos, aos usuários do site X ou Y.
42
Relacionado a isso, o erro amostral ocorre quando mesmo membros da
população recortada não são selecionados de forma adequada. Neste caso, a
replicabilidade da pesquisa é prejudicada, pois se outros pesquisadores refizerem a pesquisa, com outra amostra, poderão chegar a resultados diferentes. A
diferença dos dois aspectos, segundo Couper (2000), é que:
Enquanto o erro de cobertura se refere a pessoas ausentes
do recorte (neste caso, aqueles sem acesso à internet), o erro
amostral surge durante o processo de seleção de uma amostra
da população estudada (COUPER, 2000, p. 467).
O processo de seleção exerce um papel fundamental para o erro amostral,
como veremos adiante, no tópico (iii).
II) Não-respostas
A não-resposta ocorre quando uma parcela dos convidados a responder ao
questionário não o fazem – ou respondem apenas parcialmente. A não-resposta
pode ocorrer: (a) ao questionário e (b) ao item (pergunta).
A não-resposta só pode ser calculada em amostras probabilísticas – e nesta
probabilidade, como argumenta Groves (2006), reside a capacidade inferencial
dos surveys de representar a população total sem viés. Se a taxa de não-respostas é alta, não é possível garantir que os resultados não contenham viés de
alguma natureza8. Em surveys não-probabilísticos, não é possível calcular a taxa
de não-resposta, logo, não é possível saber o nível de incerteza da pesquisa e se
ela contém ou não algum viés.
Em questionários online, aspectos distintos daqueles presentes em aplicações presenciais podem levar a não-respostas. Por exemplo, enquanto em aplicações presenciais os atributos físicos dos aplicadores afetam a taxa de não-resposta (GROVES, 2006), em questionários online este fator é residual. Os
mais célebres aspectos relacionados à não-resposta ao questionário online são o
tamanho (questionários menores aumentam as taxas de resposta) e a presença
de elementos visuais (DEUTSKENS et al., 2004), embora, em termos mais básicos, também seja preciso considerar questões como o equipamento técnico para
acesso à web e a familiaridade do respondente em lidar com estas ferramentas,
para o correto preenchimento. Já a não-resposta ao item, contudo, pode estar
8 Vale notar que as taxas de não-resposta não obrigatoriamente indicam a presença de um viés,
mas a possibilidade do mesmo.
43
relacionada a vários aspectos, entre os quais perguntas formuladas inadequadamente (por isso a importância de um bom questionário).
III) Viés de autosseleção
Este provavelmente seja o mais grave problema envolvendo surveys online –
e diretamente se aplica ao tipo mais popular atualmente, aquele de autosseleção
irrestrita.
O problema da autosseleção reside no fato de que, nestas pesquisas, o questionário é distribuído em sites e redes onde pessoas possuem algum interesse
no assunto relacionado à pesquisa. Sua participação, portanto, está diretamente
relacionada às variáveis do estudo (COUPER; BOSNJAK, 2010) e o/a pesquisador(a) não controla quem decide participar ou, principalmente, seus motivos
(BETHLEHEM, 2009). É provável que os indivíduos engajados em participar
da pesquisa sejam mais interessados naquele tema e, portanto, potencialmente,
possuam opiniões distintas da população em geral (COUPER, 2000).
Isso, aliado à ausência de controle sobre os respondentes, leva ao perigo
potencial do fenômeno que Duda e Nobile (2010) chamaram de stakeholder bias
(viés do investidor). Pessoas interessadas no resultado da pesquisa podem agir
deliberadamente para alterar os resultados da mesma, respondendo informações que não necessariamente correspondam à verdade factual.
IV) Ausência de controle sobre respondentes
A ausência de controle sobre quem responde afeta, tal como o tópico
anterior, sobretudo os surveys de acesso irrestrito com autosseleção. Não
há controle sobre se um mesmo indivíduo respondeu a pesquisas diversas
vezes (ballot-stuffing) – ou mesmo se encaminhou para outras pessoas (que
não fazem parte do recorte amostral), com a intenção de “ajudar” a pesquisa.
Uma possibilidade mínima de controle – ainda que não seja completamente
eficaz – é solicitar o e-mail e confirmar a resposta através do mesmo. Isto não
impede, contudo, que e-mails falsos sejam criados, e pode gerar outras implicações, como tender a diminuir a taxa de respostas.
Na internet, também precisamos considerar os casos de indivíduos que
querem intencionalmente prejudicar eventuais pesquisas, pelos mais diversos motivos. O fac-símile reproduzido na Figura 2 ilustra o caso em que
uma página, intencionalmente, age para distorcer os resultados de uma pesquisa, sendo conduzida por outra página (aparentemente, somente a título
de galhofa).
44
Figura 2 - Exemplo de ação intencional para distorcer resultados de pesquisa
Fonte: reprodução Facebook9
Esse tipo de ação, embora possa não parecer, é mais comum do que se imagina. Note que, nesse caso, os respondentes são reais. Mesmo solicitando e verificando o e-mail de cada um, ainda haveria a distorção, pela ação intencional em
comprometer os resultados.
Em um sentido diferente, a ausência de controle sobre os respondentes
também pode afetar pesquisas com amostra por listas, como apontaram
Bolognesi e Perissinotto (2015). No caso de estudos sobre elites políticas,
mesmo quando o acesso individual é controlado por uma senha (garantindo
que cada respondente só possa responder uma vez à pesquisa), não há como
saber se o respondente foi, de fato, o parlamentar ou se este terceirizou a
tarefa a alguém de seu staff. Este problema se aplica, sobretudo, quando o
entrevistado é alguém que ocupe posições sociais mais altas, como políticos,
empresários, artistas etc., podendo repassar o questionário para que outro
9 Disponível em: https://www.facebook.com/TestesDeMacho/posts/1304944196270316. Acesso
em 09 de julho, 2017.
45
responda por si. Essa é uma limitação verdadeira, embora ainda exista espaço
aberto para pesquisas nas quais seja indiferente a resposta do indivíduo, em
si, ou “do gabinete”, como nos casos de Spada e Guimarães (2013), Vaccari
(2014) e Carlomagno (2018).
V) Homifilia
É comum a prática de questionários serem distribuídos em mídias sociais,
como o Facebook, através da rede de amigos do/da pesquisador(a) ou da publicação em grupos de interesse. Uma das principais limitações, neste caso, além
daquelas já tratadas, refere-se à homifilia. O termo, cunhado por Paul Lazarsfeld
e Robert Merton, foi resumido por McPherson, Smith-Lovin e Cook (2001)
como o princípio de que a conexão entre pessoas semelhantes tende a ocorrer com maior frequência do que entre pessoas diferentes, constituindo, portanto, redes pessoais com alta homogeneidade. Existem dois tipos de homifilia:
de “status” e de “valor”. A primeira se refere aos aspectos sociodemográficos,
como classe social, raça, sexo, idade, escolaridade etc., a segunda se refere ao
conjunto de valores, atitudes e crenças, como interesses intelectuais e orientação política (MCPHERSON et al., 2001). “Homifilia implica que a distância em
termos de características sociais se traduz em distâncias dentro de uma rede”
(MCPHERSON et al., 2001, p. 416). Isto significa que os fluxos informacionais
em uma rede de contatos estarão limitados ao mesmo espaço social, a pessoas
com o mesmo perfil.
Esse fenômeno – que alguns analistas contemporâneos chamam pelo termo
“bolha” – é um limitador imenso e razão pela qual redes pessoais dificilmente
podem ser utilizadas para distribuir surveys, uma vez que o espectro de respondentes tende a ser limitado àqueles que já compartilham o mesmo espaço
social do aplicador. Uma solução possível para isso é a técnica de snowball, que
veremos na próxima seção.
4. POSSIBILIDADES E ESTRATÉGIAS
Nesta seção, abordamos três possibilidades – ou estratégias – distintas para
o uso de questionários online. As três possuem limitações de naturezas distintas. As duas primeiras só poderiam ser utilizadas em certas circunstâncias e têm
alcance limitado para pesquisadores individuais. A terceira flexibiliza a preocupação com a amostragem e extrapolação em prol do alcance a certos grupos.
46
I) Amostras baseadas em listas
O tipo que Couper (2000) chamou de survey com amostras baseadas em
listas, embora restrito a somente algumas áreas, tem um grande potencial a ser
explorado. Esse tipo de pesquisa visa populações limitadas, como um recorte de
um subgrupo de uma população com alta taxa de cobertura ou cobertura completa. Esta técnica é muito utilizada em surveys intraorganizacionais, como, por
exemplo, empresas que queiram enviar questionários a todos os seus funcionários, universidades ou departamentos que enviem pesquisas a todos seus alunos
e assim por diante.
Um requisito para a aplicação é que o/a pesquisador(a) tenha acesso a todos
os contatos de e-mail da população-alvo. Convites são enviados por e-mail e o
acesso é controlado para evitar múltiplas respostas pelo mesmo respondente.
Uma vez que a população e a amostra são valores conhecidos, é possível calcular as taxas de não-respostas. Embora ainda possa existir o viés de autosseleção
(cuja existência pode ser verificada), esta abordagem evita alguns dos problemas apresentados na seção anterior. Na ciência política, por exemplo, existe um
potencial grande a ser explorado, com o estudo de parlamentares e candidatos
(SPADA; GUIMARÃES, 2013; VACCARI, 2014). Possivelmente, esse é o tipo
que mais se aproxima da consistência de surveys tradicionais. Contudo, sua
aplicabilidade nas pesquisas em geral é, em alguma medida, limitada.
II) Painéis pré-recrutados
O survey com base em painéis para voluntários pré-selecionados é outro tipo
que potencialmente evita os problemas mais comuns em surveys online. Esta
estratégia consiste, conforme explicado por Couper (2000), em criar-se uma
base da dados de potenciais respondentes voluntários a partir de convites exibidos em sites, portais e mídias sociais. Esta técnica evita o viés de autosseleção.
Embora, esta técnica, ainda não seja vastamente usada no meio acadêmico
– pois implica uma série de custos –, já é adotada por empresas de pesquisa de
opinião. A Figura 3 ilustra esta abordagem. Trata-se de post patrocinado de um
instituto de pesquisa, no Facebook, que perguntava sobre o resultado de um
jogo de futebol – um tema amplo, com potencial de alcance a uma audiência
ampla. O respondente é atraído para o questionário, onde tem que responder,
colocadas como questões secundárias, preferências políticas e dados de contato.
O cadastro do usuário é arquivado para futuras consultas que não possuirão o
viés de autorrecrutamento, já que o respondente não se voluntariou para responder, por exemplo, sobre intenção de voto, mas sim sobre futebol.
47
Figura 3 - Exemplo de recrutamento para compor futura
base de respondentes
Fonte: reprodução Facebook10
Essa abordagem, apesar de promissora, tem uma limitação importante, que
é o fator financeiro. Para alcançar uma audiência ampla, a página teria que “promover” suas postagens, recurso que é cobrado pelo Facebook. Além disso, é preciso que a estratégia seja implementada em larga escala e em diversos contextos
diferentes para atrair uma amostra o mais representativa o possível. Embora a
tendência seja que pesquisadores individuais dificilmente adotem tal tática, ela
é uma possibilidade para grupos de pesquisas, organizações e similares.
III) Amostragem intencional e snowball
Diante do impasse e dos limites existentes, uma saída para os pesquisadores
é limitar o escopo das análises, adotando técnicas que, embora não permitam a
extrapolação para a população, ainda podem oferecer potenciais respostas para
certas pesquisas. Duas técnicas, intimamente ligadas, cuja utilização está em
franca ascensão, quando se trata de distribuição de questionários em mídias
sociais, são a amostragem intencional (purposeful sampling) e a amostragem
por bola de neve (snowball sampling).
10 Disponível em: https://www.facebook.com/paranapesquisas/photos/a.357691771082884.
1073741828.357362754449119/799673630218027/
48
A amostra intencional (purposeful sampling) “envolve identificar e selecionar indivíduos ou grupos de indivíduos que possuam especial conhecimento ou
experiência no fenômeno de interesse” (PALINKAS et al., 2015, p. 534). Ou seja,
como o próprio termo indica, a amostra deixa de ser aleatória e passa a ser direcionada por algum objetivo. Couper e Bosnjak (2010) apontam que o recrutamento em mídias sociais pode ser especialmente efetivo se a pesquisa está buscando membros de um grupo raro ou de nichos específicos, que não poderiam
ser acessados de outra forma. Neste escopo se encontram as pesquisas sobre
hard to reach groups (grupos de difícil alcance) (ANDREWS; NONNECKE;
PREECE, 2003).
Essa técnica tem sido aplicada especialmente em áreas de saúde (SADLER
et al., 2010; YUAN et al., 2014). O caso narrado por Schumacher e sua equipe
(SCHUMACHER et al., 2014), em que utilizaram o Facebook para buscar
crianças portadoras de uma doença rara, é um exemplo disto. Os autores argumentam que, na área médica, é difícil encontrar um grande grupo de pacientes com doenças raras. Contudo, portadores destas doenças tendem a se juntar
em comunidades online, como grupos de Facebook. Portanto, a amostragem
intencional seria, segundo estes autores, a modalidade dominante para alcançar estes indivíduos. Essa técnica, portanto, é apropriada para examinar comunidades de indivíduos que tendam a se reunir online por algum motivo.
Dentro de amostra intencional há diversas técnicas, mas uma das mais utilizadas é a chamada snowball. Trata-se da técnica em que o/a pesquisador(a) pede
que o entrevistado indique outros respondentes, que se encaixariam no perfil
de interesse, e assim sucessivamente, ampliando a amostra inicial. Esta abordagem permite alcançar os grupos sociais mais impenetráveis, tais como elites
ou setores mais vulneráveis e socialmente estigmatizados (ATKINSON; FLINT,
2001), embora também já tenha sido aplicada em uma longa lista de casos, como
acesso à comunidade LGBT (BROWNE, 2005).
Bhutta (2012) argumentou que especificamente o Facebook pode ser um
recorte amostral promissor para recrutar respondentes, devido às suas características e, sobretudo, pelo acesso via “grupos”. Inclusive, no caso analisado
por ela, as características dos respondentes tenderam a se aproximar do recorte
de sua população, embora isto não possa ser tomado como regra. Por sua vez,
Baltar e Brunet (2012) argumentaram que a amostragem snowball baseada no
Facebook apresenta taxas de respostas superiores às taxas de pesquisas com
snowball tradicionais.
É preciso ponderar-se que alguns dos problemas apontados anteriormente
podem continuar existindo nessa estratégia, contudo tendem a ser diminuídos.
Por exemplo, o recrutamento em “grupos”, não na rede particular de amigos,
49
pode diminuir a homifilia, embora ela continue existindo, já que o algoritmo
do Facebook faz com que postagens de amigos, mesmo em grupos, sejam mais
exibidas do que de desconhecidos. A técnica de bola de neve, por sua vez, reduz
o viés de autosseleção.
Essas técnicas, provavelmente, têm sido algumas das mais utilizadas recentemente nas pesquisas acadêmicas que empregam mídias sociais como difusoras de questionários. Contudo, é preciso parcimônia nas conclusões derivadas
das mesmas. Ambas são usualmente identificadas como “qualitativas”, pois – e
é preciso ter claro isto – são não-probabilísticas. Logo, as conclusões obtidas
não podem ser extrapoladas para toda a população, como surveys usualmente
objetivam fazer.
5. CONSIDERAÇÕES FINAIS E RECAPITULAÇÃO
Não há dúvidas de que surveys online são um método ainda a ser empreendido, que oferece alto potencial e oportunidades. Estes surveys começaram a se
popularizar vinte anos atrás e somente há cerca de dez anos estas ferramentas se
tornaram acessíveis a basicamente qualquer indivíduo com acesso à internet, de
graça ou a preços módicos. Reconhecendo os limites do método, muitas pesquisas podem ser conduzidas satisfatoriamente, dentro de seu propósito restrito
(COUPER; BOSNJAK 2010).
Há muito caminho aberto para a aplicação de surveys online. Questionários
online facilitam enormemente a técnica de split ballot (ALMEIDA, 2009). A
ideia não é nova, mas em surveys presenciais demanda certo grau de dificuldade
em sua operacionalização. Trata-se de subdividir o questionário, com perguntas diferentes a partir das respostas anteriores, em busca de questões específicas que se apliquem somente aos respondentes que ofertaram aquela resposta.
Surveys online também abrem a possibilidade para experimentos controlados,
randômicos, como sugerido por Kohavi et al. (2009), com a aplicação de testes
do tipo A/B, em que um elemento muda a cada aplicação, de forma aleatória.
Estes testes já são utilizados de forma exaustiva na área do marketing digital,
mas ainda não foram explorados em sua totalidade na aplicação de surveys. Eles
podem ajudar a estabelecer uma relação causal no comportamento observado
do usuário, não apenas com perguntas e respostas. Neste tópico, também há
diversos experimentos que são feitos com questionários online que, embora não
se preocupem com validade externa (extrapolação), podem responder satisfatoriamente a problemas importantes de validade interna. Por fim, como Bhutta
(2012) apontou, as mídias sociais ainda são pouco utilizadas como ferramentas
para pesquisa, algo que provavelmente tende a mudar em breve.
50
Nosso modesto objetivo foi apresentar alguns dos principais tópicos metodológicos e operacionais para jovens pesquisadores interessados em questionários online. Para isso, resumimos os principais aspectos necessários para construir-se um bom questionário e expusemos os principais desafios que ainda
impõem limites à aplicação de surveys online. Apresentamos três possibilidades
de aplicação destes questionários – cada qual com suas limitações, mas também
com seus potenciais.
Para finalizarmos, uma vez que nosso objetivo foi didático, deixamos a
seguir, a título de sugestão, um check-list com algumas questões para que o/a
leitor(a) responda a fim de fixar sua compreensão sobre alguns dos conceitos-chave tratados neste capítulo.
•
Qual a diferença entre amostragem probabilística e não-probabilística?
•
É possível generalizar para toda a população uma pesquisa realizada
com amostragem do tipo “bola-de-neve”? Por quê?
•
Quais fatores tendem a levar à não-resposta em um item de um
questionário?
•
Por que a pergunta “por que você comprou este livro?” é ruim?
•
Qual o problema de respondentes escolherem se vão ou não participar
da pesquisa (autosseleção)?
•
Se o pesquisador ou a pesquisadora quiser aplicar o questionário online
para um recorte da população que não está online, em qual erro isto se
classificaria?
•
Por que é improvável que um/uma pesquisador/pesquisadora individual
consiga distribuir, a partir de sua rede pessoal, um questionário para um
espectro amplo e diverso de respondentes?
REFERÊNCIAS
ALMEIDA, A. C. Erros nas pesquisas eleitorais e de opinião. Rio de Janeiro:
Record, 2009.
ANDREWS, D.; NONNECKE, B.; PREECE, J. Electronic Survey Methodology:
A Case Study in Reaching Hard-to-Involve Internet Users. International
Journal of Human-Computer Interaction, v. 16(2), p. 185–210, 2003. Disponível
em: <https://doi.org/10.1207/S15327590IJHC1602_04>.
ATKINSON, R.; FLINT, J. Accessing Hidden and Hard-to-Reach Populations:
Snowball Research Strategies. Social Research Update, v. (33), p. 1-4, 2001.
51
BALTAR, F.; BRUNET, I. Social research 2.0: virtual snowball sampling
method using Facebook. Internet Research, v. 22(1), p. 57–74, 2012. Disponível
em: <https://doi.org/10.1108/10662241211199960>.
BETHLEHEM, J. G. Applied survey methods: a statistical perspective. New
Jersey: John Wiley & Sons, 2009.
BHUTTA, C. B. Not by the Book. Sociological Methods & Research, v. 41(1),
p. 57-88, 2012.
BOLOGNESI, B.; PERISSINOTTO, R. O uso do survey no estudo do recrutamento político: limites e vantagens. In: PERISSINOTTO, R.; CODATO, A.
(Eds.). Como estudar elites. Curitiba: Editora UFPR, 2015, p. 33–60.
BROWNE, K. Snowball sampling: using social networks to research non‐heterosexual women. International Journal of Social Research Methodology, v.
8(1), p. 47-60, 2005. Disponível em: <https://doi.org/10.1080/13645570320000
81663>.
CANNELL, C. F.; KAHN, R. L. The dual purpose of the questionnaire. In:
KATZ, D.; CARTWRIGHT, D.; ELDERSVELD, S.; LEE, A. M. (Eds.), Public
Opinion and Propaganda: A Book of Readings. New York: Holt, Rinehart and
Winston, 1954.
CARLOMAGNO, M. O que pensam os candidatos a prefeito sobre a reforma
política? Resultados de um survey nacional em 2016. Revista Do Legislativo
Paranaense, v. 2(1), 2018.
CARLOMAGNO, M. C.; ROCHA, L. C. Como criar e classificar categorias
para fazer análise de conteúdo: uma questão metodológica. Revista Eletrônica
de Ciência Política, v. 7(1), p. 173-188, 2016. Disponível em: <https://doi.
org/10.5380/recp.v7i1.45771>.
COPPOCK, A. Did shy Trump supporters bias the 2016 polls? Evidence from a
nationally-representative list experiment. Statistics, Politics and Policy, v. 8(1),
2017. Disponível em: <https://doi.org/10.1515/spp-2016-0005>.
COUPER, M. P. Web surveys: A review of issues and approaches. Public
Opinion Quarterly, v. 64, p. 464-494, 2000.
COUPER, M. P.; BOSNJAK, M. Internet Surveys. In: MARSDEN, P. V.;
WRIGHT, J. D. (Eds.). Handbook of survey research, 2. ed. Bingley: Emerald
Group Publishing Limited, 2010.
DEUTSKENS, E.; RUYTER, K.; WETZELS, M.; OOSTERVELD, P. Response
rate and response quality of internet-based surveys: an experimental study.
Marketing Letters, v. 15(1), p. 21-36, 2004.
DUDA, M. D.; NOBILE, J. L. The Fallacy of Online Surveys: No Data Are
Better Than Bad Data. Human Dimensions of Wildlife, v. 15(1), p. 55-64, 2010.
Disponível em: <https://doi.org/10.1080/10871200903244250>.
52
FOWLER JR, F. J.; COSENZA, C. Writing effective questions. In: LEEUW, E.
D.; HOX, J. J.; DILLMAN, D. A. (Eds.). International Handbook of Survey
Methodology. New York: Lawrence Erlbaum Associates, 2008, p. 136-160.
GALESIC, M.; BOSNJAK, M. Effects of questionnaire length on participation and indicators of response quality in aweb survey. The Public Opinion
Quarterly, v. 73(2), p. 349-360, 2009.
GANASSALI, S. The influence of the design of web survey questionnaires on
the quality of responses. Survey Research Methods, v. 2(1), p. 21-32, 2008.
GILLJAM, M.; GRANBERG, D. Should we take don’t know for an answer? The
Public Opinion Quarterly, v. 57(3), p. 348-357, 1993.
GROVES, R. M. Nonresponse rates and nonresponse bias in household surveys.
Public Opinion Quarterly, v. 70(5), p. 646-675, 2006.
GÜNTHER, H. Como elaborar um questionário. (Série Planejamento de
Pesquisa Nas Ciências Sociais). Brasília: UnB, Laboratório de Psicologia
Ambiental, 2003.
KALTON, G.; ROBERTS, J.; HOLT, D. The Effects of Offering a Middle Response
Option with Opinion Questions. Journal of the Royal Statistical Society, v.
29(1), p. 65-78, 1980.
KOHAVI, R.; LONGBOTHAM, R.; SOMMERFIELD, D.; HENNE, R. M.
Controlled experiments on the web: survey and practical guide. Data Mining
and Knowledge Discovery, v. 18(1), p. 140-181, 2009. Disponível em: <https://
doi.org/10.1007/s10618-008-0114-1>.
KRIPPENDORFF, K. Content analysis: an introduction to its methodology. 2.
ed. Thousand Oaks, Califórnia: Sage Publications, 2004.
LAZARSFELD, P. F. The art of asking why: three principles underlying the formulation of questionnaires. In: KATZ, D.; CARTWRIGHT, D.; ELDERSVELD,
S.; LEE, A. M. (Eds.). Public Opinion and Propaganda: A Book of Readings.
New York: Holt, Rinehart and Winston, 1954.
LEE, S. H. Constructing Effective Questionnaires. In: PERSHING, J. A. (Ed.).
Handbook of Human Performance Technology: Principles, Practices, and
Potential. New Jersey: John Wiley & Sons, 2006, p. 760-779.
MALHOTRA, N. Time and Response Order Effects in Web Surveys. The Public
Opinion Quarterly, v. 72(5), p. 914-934, 2008.
MANFREDA, K. L.; BATAGELJ, Z.; VEHOVAR, V. Design of web survey questionnaires: three basic experiments. Journal of Computer-Mediated Communication,
v. 7(3), 2002. Disponível em: <https://doi.org/10.1111/j.1083-6101.2002.tb00149.x>.
MANFREDA, K. L.; VEHOVAR, V. Internet surveys. In: LEEUW, E. D.; HOX, J.
J.; DILLMAN, D. A. (Eds.), International Handbook of Survey Methodology.
New York: Lawrence Erlbaum Associates, 2008, p. 264-284.
53
MCCLENDON, M. J.; ALWIN, D. F. No-Opinion Filters and Attitude
Measurement Reliability. Sociological Methods & Research, v. 21(4), p. 438464, 1993.
MCFARLAND, S. G. Effects of Question Order on Survey Responses. The
Public Opinion Quarterly, v. 45(2), p. 208-2015, 1981.
MCPHERSON, M.; SMITH-LOVIN, L.; COOK, J. M. Birds of a Feather:
Homophily in Social Networks. Annual Review of Sociology, v. 27(1), p. 415444, 2001. Disponível em: <https://doi.org/10.1146/annurev.soc.27.1.415>.
MONDAK, J.; DAVIS, B. C. Asked and answered: Knowledge levels when we will
not take “don’t know” for an answer. Political Behavior, v. 23(3), p. 199-224, 2001.
PALINKAS, L. A.; HORWITZ, S. M.; GREEN, C. A.; WISDOM, J. P.; DUAN,
N.; HOAGWOOD, K. Purposeful Sampling for Qualitative Data Collection and
Analysis in Mixed Method Implementation Research. Administration and
Policy in Mental Health and Mental Health Services Research, v. 42(5), p. 533544, 2015. Disponível em: <https://doi.org/10.1007/s10488-013-0528-y>.
POE, G. S.; SEEMAN, I.; MCLAUGHLIN, J.; MEHL, E.; DIETZ, M. “Don’t
know” boxes in factual questions in a mail questionnaire: effects on level and
quality of response. The Public Opinion Quarterly, v. 52(2), p. 212-222, 1988.
PRESSER, S.; SCHUMAN, H. The Measurement of a Middle Position in
Attitude Surveys. The Public Opinion Quarterly, v. 44(1), p. 70-85, 1980.
RASINSKI, K. A. The effect of question wording on public support for government spending. The Public Opinion Quarterly, v. 53(3), p. 388-394, 1989.
SADLER, G. R.; LEE, H. C.; LIM, R. S. H.; FULLERTON, J. Recruitment of
hard-to-reach population subgroups via adaptations of the snowball sampling
strategy. Nursing & Health Sciences, v. 12(3), p. 369-374, 2010. Disponível em:
<https://doi.org/10.1111/j.1442-2018.2010.00541.x>.
SCHRIESHEIM, C. A.; EISENBACH, R. J. An exploratory and confirmatory
factor-analytic investigation of item wording effects on the obtained factor
structures of survey questionnaire measures. Journal of Management, v. 21(6),
p. 1177-1193, 1995.
SCHUMACHER, K. R.; STRINGER, K. A.; DONOHUE, J. E.; YU, S.; SHAVER,
A.; CARUTHERS, R. L.; ... RUSSELL, M. W. Social Media Methods for Studying
Rare Diseases. Pediatrics, v. 133(5), p. e1345-e1353, 2014. Disponível em:
<https://doi.org/10.1542/peds.2013-2966>.
SCHUMAN, H.; PRESSER, S. Question wording as an independent variable
in survey analysis. Sociological Methods & Research, v. 6(2), p. 151-170, 1977.
SPADA, P.; GUIMARÃES, F. S. Investigating Elite Behavior through Field
answer more to core or swing voters? Brazilian Political Science Review, v.
7(1), p. 56-73, 2013.
54
TURGEON, M.; CHAVES, B. S.; WIVES, W. W. Políticas de ação afirmativa
e o experimento de listas: o caso das cotas raciais na universidade brasileira.
Opinião Pública, v. 20(3), p. 363-376, 2014.
VACCARI, C. You’ve Got (No) Mail: How Parties and Candidates Respond to
Email Inquiries in Western Democracies. Journal of Information, Technology
& Politics, v. 11(2), p. 245-258, 2014. Disponível em: <https://doi.org/10.1080/1
9331681.2014.899536>.
YUAN, P.; BARE, M. G.; JOHNSON, M. O.; SABERI, P. Using Online
Social Media for Recruitment of Human Immunodeficiency Virus-Positive
Participants: A Cross-Sectional Survey. Journal of Medical Internet Research,
v. 16(5), p. e117, 2014. Disponível em: <https://doi.org/10.2196/jmir.3229>.
55