Organização: Tarcízio Silva Jaqueline Buckstegge Pedro Rogedo ESTUDANDO CULTURA E COMUNICAÇÃO COM MÍDIAS SOCIAIS Brasília, 2018 Estudando cultura e comunicação com mídias sociais. Todos os direitos reservados. ©Instituto Brasileiro de Pesquisa e Análise de Dados – IBPAD, 2018. Organização Tarcízio Silva Jaqueline Buckstegge Pedro Rogedo Preparação de texto e revisão Monomito Editorial Diagramação Project Nine Editorial Capa Yuri amaral Revisão acadêmica Deborah Celentano Brasília, 2018. Todos os direitos desta edição reservados à Instituto Brasileiro de Pesquisa e Análise de Dados – IBPAD ibpad.com.br facebook.com/ibpad CONDUZINDO PESQUISAS COM QUESTIONÁRIOS ONLINE: UMA INTRODUÇÃO ÀS QUESTÕES METODOLÓGICAS Márcio Cunha Carlomagno 1. INTRODUÇÃO É crescente o número de pesquisas utilizando a aplicação de questionários online, especialmente – mas não exclusivamente – entre jovens investigadores, como mestrandos e doutorandos. A facilidade tecnológica, tanto para a criação destes questionários (ofertada gratuitamente por ferramentas como Google Forms), quanto para sua difusão, traz um potencial problema: pesquisas problemáticas, seja por questionários mal formulados ou por desenhos de pesquisa que não contemplam questões metodológicas desta ferramenta de pesquisa. Este é um capítulo metodológico e didático, não de cunho empírico. Nosso objetivo é apresentar uma introdução aos principais tópicos sobre surveys online, suas limitações e técnicas de como proceder corretamente com sua aplicação. Desejamos ofertar à leitora e ao leitor um conjunto direto e sucinto dos principais aspectos a serem considerados ao optar-se por esta ferramenta, reunindo uma bibliografia diversa. Não é propósito do capítulo apresentar novas proposições ou aplicações, mas servir como entrada na área para jovens pesquisadores – público-alvo ao qual se destina. O termo em inglês survey, apesar de sem equivalente preciso no português, usualmente é traduzido como “levantamento de dados” (GÜNTHER, 2003). Embora survey possa significar qualquer tipo de coleta ou levantamento de dados, com o passar dos anos seu sentido estrito passou a ser usado somente para um tipo de pesquisa: aquela com utilização de questionários. Neste sentido, survey é um instrumento de pesquisa de opinião. Embora seja possível realizar surveys com perguntas abertas, sua forma predominante caracteriza-se pelo uso de perguntas fechadas, o que permite a comparabilidade das respostas. Outra característica em surveys é que, usualmente, são amostrais. Mick Couper (2000) propôs uma categorização dos tipos de survey online a partir da distinção entre métodos de amostragem probabilística e não-probabilística. Este é um elemento central para as pesquisas científicas. Em amostras probabilísticas, cada membro 31 de uma população possui uma chance de seleção, que é: (i) conhecida e (ii) diferente de zero. Em amostras não-probabilísticas, as chances de seleção são desconhecidas (COUPER; BOSNJAK, 2010). Nas palavras do autor, em amostras não-probabilísticas, “inferências ou generalizações para a população são baseadas em saltos de fé ao invés de estabelecidos princípios estatísticos” (COUPER, 2000, p. 477). Ao contrário, em amostras probabilísticas, os resultados podem ser extrapolados, com uma margem de erro que pode ser calculada para o universo que a amostra representa. Isso torna possível a realização de inferências sobre o conjunto maior da população. O tipo de survey que podemos, cotidianamente, observar ser compartilhado em mídias sociais, como o Facebook, é o que Couper (2000) chamou de “surveys com autosseleção irrestrita”. As principais implicações amostrais deste tipo de survey, como veremos adiante, são a ausência de controle sobre os respondentes e o viés de autosseleção. Podemos dividir os problemas metodológicos encontrados em surveys em duas ordens principais: problemas de construção do questionário e problemas de amostragem estatística (ALMEIDA, 2009). Este capítulo pretende apresentar um resumo dos mais importantes tópicos nestes dois âmbitos. Não é nossa pretensão esgotar o tema. Existem questões fundamentais relacionadas com as surveys que não são nosso foco, tais como o potencial viés gerado pelas respostas socialmente aceitáveis (ALMEIDA, 2009)1 ou de que maneira abordar temas polêmicos, como preconceito ou corrupção (TURGEON; CHAVES; WIVES, 2014). O capítulo se organiza da seguinte maneira: a primeira seção é dedicada ao que chamamos “preliminares” – os elementos fundamentais na construção de um bom questionário. A qualidade dos resultados de um survey depende daquilo que antecede sua aplicação, que é a existência de um bom questionário. Questionários online possuem suas idiossincrasias, que precisam ser levadas em conta. Apenas transferir a mesma técnica dos questionários tradicionais para os online é um equívoco. Por isso, tratar deste aspecto é fundamental. Reunimos nove tópicos importantes aos quais o/a pesquisador(a) deve se atentar ao formular seu instrumento de pesquisa. A seção seguinte é dedicada aos “desafios”, ou limites, enfrentados por questionários online, sobretudo em relação às questões amostrais. Resumimos cinco tópicos, com especial destaque a três problemas: o viés de autosseleção, a ausência de controle sobre os respondentes e a homifilia 1 Um dos exemplos mais célebres neste tópico é o chamado tory shy vote (voto conservador envergonhado), termo consagrado na eleição de 1992 no Reino Unido. Muitas vezes, candidatos conservadores vão sistematicamente pior nas pesquisas do que no desempenho nas urnas, pois há uma pressão social que compele as pessoas a não se manifestarem favoráveis a candidatos deste campo ideológico. Já há um debate recente se isso teria ocorrido na eleição de Donald Trump, nos Estados Unidos, em que as pesquisas falharam em prever o resultado eleitoral (COPPOCK, 2017). 32 (a homogeneidade criada dentro de grupos sociais, que tendem a serem semelhantes e compartilharem os mesmos valores). Por fim, a seção seguinte sugere três possibilidades em que surveys online podem ser aplicados com sucesso, embora cada uma tenha suas limitações. Uma vez que a ascensão do uso dos surveys online é saliente em uma série de disciplinas, o potencial deste capítulo é multidisciplinar. Dada sua natureza metodológica, as considerações que apresentaremos servem não apenas às investigações específicas de opinião pública, mas se aplicam também à realização de outras pesquisas que se valham do instrumento de questionários online, em uma multiplicidade de áreas, tais como Sociologia, Administração, Marketing, Comunicação Social, Publicidade e Propaganda etc. A relevância deste capítulo, portanto, reside na sistematização, de forma didática, de uma longa discussão metodológica nas Ciências Sociais. 2. PRELIMINARES Muitos erros com pesquisas utilizando surveys podem ocorrer – e ocorrem – por problemas na formulação de um questionário adequado (ALMEIDA, 2009). Como ponto de partida, uma boa pesquisa depende de um bom questionário – e os questionários online possuem suas particularidades. Embora este aspecto já tenha sido tratado em clássicos como Almeida (2009), Günther (2003) e Fowler Jr. e Cosenza (2008), jogaremos o foco nas particularidades do meio que estamos abordando, a aplicação online. Lee (2006) sugeriu um check-list com três perguntas, para verificar se um questionário está adequado: 1) Os entrevistados conseguem entender a pergunta? 2) Os entrevistados conseguem responder à pergunta? 3) Os entrevistados irão responder à pergunta? Para um questionário estar adequado, a resposta deve ser “sim” as três indagações. A seguir, abordaremos alguns tópicos essenciais para obter-se as respostas positivas a estas perguntas. I) Perguntas específicas Perguntas devem buscar respostas para questões concretas e, acima de tudo, serem claras e específicas (LAZARSFELD, 1954). O exemplo de uma pergunta incorreta, ofertado por Lazarsfeld, é “por que você comprou este livro?”. Neste caso, o respondente pode ter três âmbitos de resposta diferentes: “compra” (em oposição a emprestar na biblioteca), “este” (em oposição a outros livros) e “livro” (em oposição a outros produtos, como o ingresso para um show). Neste caso, falta especificidade na pergunta. Perguntas que misturem diferentes âmbitos de resposta possíveis levam a erros de análise. 33 A pergunta deve ser clara e objetiva, de modo que não reste margem para compreensões distintas de dois respondentes diferentes. Por exemplo, na pergunta “você saiu para jantar fora recentemente?”, o termo “recentemente”2 pode ser interpretado de formas profundamente diferentes a depender do respondente. É preciso que a pergunta seja direta e clara sobre o período que o/a pesquisador(a) deseja saber. Podemos pensar em como ajustar essas perguntas, como exercício. Para o primeiro caso, supondo que a questão era sobre o âmbito “este”, na compra do livro, a pergunta poderia ser algo como “por que você escolheu [título do livro]?”, eliminando, assim, os âmbitos que poderiam causar embaraço. No segundo caso, “você saiu para jantar fora nos últimos 30 dias?” apresenta um intervalo de tempo claro, sem margem para interpretações diversas. Esse tópico também vale sobre tentar questionar a respeito de conceitos, que são construções intelectuais humanas e, portanto, podem implicar interpretações variadas. O conceito teórico que se queira medir precisa ser traduzido em perguntas específicas – e são estas questões específicas que devem ser emitidas ao entrevistado. Imagine a clássica pergunta: “em uma escala de ideologia política, como você se considera?”, apresentando uma escala entre esquerda e direita. Mas, ora, o que é esquerda e direita? É razoável supor que alguns respondentes poderão atribuir significados muito distintos a uma mesma posição. “Direita”, a depender do entrevistado, pode significar tanto liberalismo econômico (livre mercado) quanto conservadorismo moral. Pode significar ambos ao mesmo tempo, mas também apenas um deles e não outro. Talvez existam pessoas que sejam liberais econômicos sem ser conservadores morais – e vice-versa. Neste exemplo, o ideal seria fazer, ao menos, duas perguntas: uma sobre liberalismo econômico e outra sobre conservadorismo moral3, para que, depois, o/a pesquisador(a) construa, a partir dos dados, seu conceito de “ideologia política”. II) Fluidez O propósito de um questionário é duplo: seu primeiro objetivo é traduzir os conceitos e hipóteses de pesquisa em perguntas e respostas específicas, a fim de mensurar aquilo que se propõe e o segundo é motivar o entrevistado a 2 O mesmo se aplica a termos como “frequentemente”, “raramente” etc., por vezes encontrados em opções de respostas. Estes termos não devem ser usados, substituindo-se pelo número exato que se quer mensurar. 3 Perceba que, ainda assim, os conceitos continuam abstratos. Perguntar “o quão conversador moral você é?” também não é uma boa solução, pois comporta diferentes interpretações do conceito. Devem ser feitas perguntas específicas sobre situações específicas. Como, por exemplo, no caso do conservadorismo, “você é contra ou a favor do casamento homoafetivo?”, “você é a favor ou contra o direito da mulher ao aborto?” e assim por diante. 34 continuar respondendo e concluir o questionário (CANNELL; KAHN, 1954). O segundo ponto se torna ainda mais fundamental no caso dos questionários online, que são autoadministrados, sem a presença de um entrevistador. Quando falamos em fluidez, não significa que se deve apelar a recursos heterodoxos, mas, pelo menos, não se deve atrapalhar o respondente. Deve-se reduzir ao mínimo o esforço de leitura desnecessária. Evite redundâncias, evite demandar do respondente um esforço que não é necessário para que ele responda à pergunta. Se alguma informação é desnecessária para a resposta, não precisa ser incluída. Lembre-se que, enquanto nos questionários tradicionais o entrevistador pode adequar tons de voz, nos questionários autoadministrados o próprio respondente lerá as perguntas. Como veremos adiante, o tamanho das perguntas também tem impacto direto nisto. Podemos ressaltar algumas questões importantes para que o respondente possa chegar ao fim do questionário, embora tal lista não seja exaustiva (outros aspectos também podem ser pertinentes). Primeiro, o bloco de perguntas sobre “perfil” do respondente deve vir ao final do questionário, não no seu começo. Colocar perguntas sobre o perfil do indivíduo no começo pode ser duplamente prejudicial: pode tanto cansar o respondente (com perguntas que, por serem automáticas, não farão mal estarem ao final), como também enviesar as respostas, especialmente – mas não unicamente – se a pesquisa for sobre temas sensíveis ou o respondente tiver respostas que não sejam esperadas para alguém de sua posição social. Segundo, é necessário coerência e coesão interna na ordem das perguntas. Perguntas fora de contexto podem causar estranheza, além do potencial viés provocado. Terceiro, como veremos adiante, a forma visual (layout) tem impactos diretos em surveys online. É necessária a adequação para os diversos dispositivos que podem ser utilizados pelo entrevistado (mobile, tablet, desktop etc.). Por vezes nos deparamos com questionários em que a página fica desconfigurada, a depender do dispositivo em uso. Isto é um fator que cria dificuldades para que os respondentes completem o questionário. III) As palavras A forma – palavras e termos utilizados – com a qual a pergunta é apresentada pode influenciar as respostas. Este é um dos mais antigos tópicos relacionados com o estudo metodológico do efeito de surveys (RASINSKI, 1989; SCHRIESHEIM; EISENBACH, 1995; SCHUMAN; PRESSER, 1977). Embora continuem sendo debatidas suas diferentes intensidades, um ponto pacífico é o fato de que a escolha de palavras importa. Os termos utilizados podem influenciar as respostas a partir de diferentes mecanismos. Esta influência pode ocorrer pela pressão psicológica em prol de 35 respostas socialmente aceitáveis ou pela simples falta de clareza, como em perguntas negativas – ou pior, de dupla negativa. Por exemplo, “você é contra o fim do estatuto do desarmamento?” é uma pergunta confusa. A pessoa que é a favor do estatuto do desarmamento tem que responder “Sim” (é contra o fim) e vice-versa. Clareza é necessário, acima de tudo. Bethlehem (2009) também alerta para o possível viés gerado pelo desequilíbrio nas respostas ofertadas. Por exemplo, a pergunta “você é a favor da pena de morte?”, que tenha como possíveis respostas “(1) Sim, sem ressalvas; (2) Sim, mas apenas em crimes hediondos; (3) Sim, mas apenas para criminosos irrecuperáveis e (4) Não.” é tendenciosa pois oferta três possibilidades de uma das alternativas. Neste caso, deveria dividir-se em duas perguntas. Uma sobre apoio ou não, outra sobre em que circunstâncias. Além disso, no caso dos surveys online, os termos utilizados também podem influenciar no autorrecrutamento, pois podem relevar os posicionamentos dos pesquisadores (LEE, 2006). Um exemplo contemporâneo disto é o uso do termo “presidenta” para referir-se à ex-presidente brasileira Dilma Rousseff. A despeito de estar gramaticalmente correto (e ter sido utilizado pelos órgãos oficiais durante seu mandato), socialmente o termo ficou marcado como um dos identificadores dos apoiadores da ex-presidente, não tendo sido adotado pela parte majoritária das grandes empresas jornalísticas. O uso deste termo, portanto, poderia indicar um olhar positivo sobre esta personagem. A assunção, por parte do respondente, sobre qual o posicionamento do/da pesquisador(a) tende a enviesar os indivíduos propensos a responder à pesquisa – e a compartilhá-la em seu meio. Note que a influência pela escolha das palavras pode ocorrer não apenas nas perguntas, mas também nas opções de respostas ofertadas, e na “apresentação inicial do questionário”. O respondente não precisa saber as intenções dos pesquisadores, pois isso também pode interferir em suas respostas – só é necessário que lhe sejam passadas as informações básicas necessárias para que responda ao questionário.4 IV) A ordem das perguntas (e das respostas) A ordem das perguntas pode influenciar nas respostas. Almeida (2009) mostrou que, mesmo com perguntas idênticas, duas pesquisas podiam produzir resultados consideravelmente diferentes apenas alterando a ordem das perguntas. 4 Em algumas áreas, os conselhos de ética exigem que informações completas e detalhadas sobre os usos da pesquisa sejam fornecidas aos respondentes. Do ponto de vista meramente metodológico, isto é inapropriado. 36 O exemplo mais clássico talvez seja o da pesquisa de intenção de voto (ou de avaliação de governo), onde, antes da pergunta com essa finalidade, questiona-se a satisfação do respondente com vários assuntos (como saúde pública, educação, economia, segurança etc.). Nesta circunstância, tende-se a diminuir a aprovação do mandatário (ou seu candidato). Ser “lembrado”, pelo próprio questionário, de questões que podem interferir na resposta posterior, induz esta resposta. Isto ocorre, sobretudo, pelo chamado learning effect – um assunto tratado anteriormente conduz o pensamento do respondente em uma direção específica (BETHLEHEM, 2009). A ordem das perguntas é uma questão delicada em questionários online, pois, hipoteticamente, o respondente pode, diante de informações apresentadas posteriormente, retornar à pergunta anterior e alterar sua resposta. Uma solução para evitar isso pode ser a adoção de survey com multipáginas, separando as perguntas em blocos diferentes, como abordado na seção (viii). Ainda relacionado à questão da ordem de apresentação, a “ordem que as respostas são apresentadas” também afeta as respostas (MALHOTRA, 2008; MCFARLAND, 1981). Opções mais próximas das pontas (a primeira e a última) tendem a ser mais escolhidas, em detrimento das opções que são apresentadas no meio. Na aplicação presencial, a solução para isso – adotada, por exemplo, em pesquisas de intenção de voto – é oferecer ao respondente um disco circular que contenha todas as alternativas. Na aplicação online, deve-se utilizar o recurso “embaralhar a ordem das respostas”, ofertado por praticamente todas as ferramentas online. Neste caso, a cada vez que o questionário for aberto, as opções de resposta aparecerão em uma ordem diferente, de forma aleatória. V) Respostas exaustivas e mutuamente exclusivas Em perguntas nas quais apenas uma resposta pode ser dada (como é a parte majoritária das perguntas utilizadas nestes questionários), as respostas devem ser exaustivas e mutuamente exclusivas (FOWLER JR; COSENZA, 2008). Estes são dois conceitos fundamentais e recorrentes na organização lógica de classificação, como, por exemplo, nas categorias para análise de conteúdo (CARLOMAGNO; ROCHA, 2016; KRIPPENDORFF, 2004). Ser exaustivo significa que deve-se esgotar as possibilidades de resposta, isto é, todas as respostas possíveis devem estar previstas como alternativas. Ser mutuamente exclusivo significa que não pode existir a possibilidade lógica de duas alternativas serem verdadeiras ao mesmo tempo. Elas devem se excluir mutuamente. Um exemplo que podemos ofertar de respostas não exaustivas é o de um questionário que, ao perguntar a raça do respondente, ofereça as alternativas: 37 branco, negro, pardo, amarelo. Podemos notar que, além do “prefiro não responder”, falta a opção “indígena”. Embora talvez naquela pesquisa não fosse esperado que nenhum indígena respondesse ao questionário, se esta é uma resposta possível, logo, deve estar prevista.5 O fato de que todas as respostas possíveis devem estar previstas implica que, por padrão, todas as perguntas devem conter a opção: “Não sei/Prefiro não responder”, pois esta é uma possibilidade de resposta dos entrevistados. Apesar dessa regra padrão, este tópico é um pouco mais complexo, conforme trataremos no tópico seguinte. A questão de respostas não mutuamente excludentes é mais grave, pois não pode ser resolvida posteriormente, podendo vir a invalidar a pergunta e todas as respostas obtidas. Um exemplo que pode ser ofertado, retomando a pergunta “por que você comprou este livro?”, utilizada como exemplo anterior, seriam as alternativas de resposta, em uma pergunta de resposta única: a) preço acessível, b) interesse pelo assunto ou autor, c) recomendação de amigos, familiar ou conhecido, d) capa bonita e e) outros. Perceba que, neste exemplo, a exaustividade foi, ainda que mal, atendida com o uso da opção “outros”, mas as respostas não se excluem mutuamente, pois mais de uma (ou mesmo todas) podem ser verdadeiras ao mesmo tempo. No caso deste exemplo, haveria diversas saídas possíveis. A mais rápida poderia ser qualificar melhor a pergunta, como “qual o principal motivo por que você comprou...”. Neste caso, assume-se que outras respostas também podem ser verdadeiras, mas se quer saber o principal motivo. Uma segunda abordagem seria transformar a pergunta em resposta múltipla. Este tipo de pergunta, contudo, tende a não fornecer respostas muito robustas, pois não se sabe qual a ordem de importância dos fatores marcados. Uma terceira saída para o exemplo ofertado seria listar os fatores e pedir para elencar-se a ordem de importância. Esta é a abordagem que fornece mais informações aos pesquisadores, mas deve ser usada com parcimônia, pois, se utilizada de forma excessiva, pode-se correr o risco de cansar o respondente. VI) “Não sei” O uso de uma opção “não sei” enseja uma longa discussão, quando em pesquisas mais sofisticadas. Por padrão, precisa ser ofertado ao respondente a possibilidade de dizer que não sabe alguma resposta. Contudo, alguns estudos testaram cenários em que esta opção está ausente, apresentando resultados que não são unânimes. Há argumentos que apontam indiferença (POE et al., 1988) e que discutem quando utilizar ou não esta opção (MCCLENDON; ALWIN, 5 É preciso, contudo, ter cuidado para não criar alternativas demais de respostas. Muitas opções geram perda considerável na qualidade da análise. 38 1993). O problema essencial é que a possibilidade de responder “não sei” pode levar a “falsos negativos”, isto é, pessoas que tenham uma opinião – ainda que fraca – mas estejam receosos de as expressar (GILLJAM; GRANBERG, 1993). Quando o assunto da pergunta é fundamental para a pesquisa sendo conduzida – como mensurar o conhecimento político em pesquisas sobre participação e cidadania (MONDAK; DAVIS, 2001) –, não permitir estas respostas pode ser útil. No entanto, vale ressaltar que esta é uma abordagem alternativa, possível em algumas circunstâncias. Estas devem ser analisadas caso a caso, em cada pesquisa. Por padrão, o recomendado é oferecer o “não sei”. Especialmente em se tratando de questionários online, precisamos ponderar que, se a pergunta for de resposta obrigatória (ou seja, aquele tipo que o respondente não a possa “pular”), isto pode gerar um beco sem saída ao respondente, de forma que ele simplesmente não consiga continuar a responder e abandone o questionário. Além disso, a ausência de “não sei” (e, a depender da pergunta, “não se aplica”) pode potencialmente aumentar também as respostas dos pontos médios. VII) As escalas Que tipos de escalas utilizar é uma questão delicada. O aumento do número de pontos na escala até sete melhora a qualidade da medida, mas além disto não há efeitos (FOWLER JR; COSENZA, 2008; LEE, 2006). As respostas são mais consistentes (e com maior confiabilidade) quando todas as categorias estão rotuladas com palavras, ao invés de apenas rotular os extremos ou usar unicamente números6 (FOWLER JR; COSENZA, 2008; LEE, 2006). Também é preciso que o conjunto de perguntas apresente coerência na direção e no tipo das escalas. Se em uma pergunta você pede a concordância, na pergunta seguinte a discordância e na próxima a concordância novamente, isto pode confundir o respondente, ocasionando erros – o mesmo se aplica se você alternar os tipos de escala (cinco pontos, sete pontos, cinco pontos) ao longo do questionário. Lee (2006) argumenta que uma das importantes decisões que o/a pesquisador(a) deve tomar ao elaborar um questionário é oferecer ou não um ponto médio na escala de respostas. Embora seja recomendável ofertar a alternativa mediana, pois ela pode realmente melhor representar o posicionamento dos respondentes, as pesquisas têm confirmado que a presença de um ponto médio aumenta a proporção de respondentes adotando a resposta neutra (KALTON; ROBERTS; HOLT 1980; PRESSER; SCHUMAN 1980). 6 Por outro lado, a vantagem do contínuo numérico é que mais do que cinco adjetivos podem ser indistintos aos respondentes. Uma das mais utilizadas nestas pesquisas é a escala Likert. 39 A título ilustrativo, a figura a seguir apresenta a mesma questão em três tipos de escalas diferentes: apenas os extremos rotulados; todas as categorias rotuladas e ponto médio e todas as categorias rotuladas e sem ponto médio. Figura 1 - Exemplo de escalas Fonte: elaboração própria Não há maneira correta ou errada, mas a que melhor se encaixa aos objetivos da pesquisa. Em alguns casos, em que a nuance é clara, o ponto intermediário pode ser pertinente. Em outros casos, pode ser uma estratégia mais vantajosa não oferecer um ponto intermediário, para evitar o risco de uma parcela grande escolher ficar “em cima do muro”. Em qualquer caso, o/a pesquisador(a) deve escolher de forma consciente sua escala e saber justificar esta escolha à luz de seus objetivos de pesquisa. Vale lembrar que as escalas que você usará dependem, também, de como você pretende tratar estes dados e da conversação com a literatura da área. Outro elemento a se considerar é a adequação ao público-alvo. XIII) A forma visual (layout) Em questionários autoadministrados, em que não há um entrevistador para auxiliar nas perguntas, questões que usualmente não se aplicam a questionários tradicionais surgem. Uma destas questões salientes é a forma visual (layout) 40 com que o questionário se apresenta. Destacam-se dois aspectos: (a) design de página única (estática) ou múltiplas páginas e (b) plano de fundo e cores. A forma da página se refere a dois tipos visuais que o questionário pode apresentar: uma página única, estática, com todas as perguntas de uma vez, que demande a rolagem com o mouse, ou múltiplas páginas, que apresente somente algumas perguntas de cada vez e que demande ao respondente clicar em “próxima” para acessar a página seguinte. Embora os resultados sobre estas questões não sejam conclusivos – nem a pesquisa conduzida até aqui esteja perto de seu fim, existindo muito caminho ainda a ser explorado –, experimentos conduzidos por Manfreda, Batagelj e Vehovar (2002) apontam que: • O design de uma página (estática): a) aumenta o número de não-resposta ao item, b) aumenta a correlação entre os itens (gera um viés de associação nos respondentes) e c) diminui o número de desistências (questionários abandonados antes de serem completados). • O design de múltiplas páginas: a) diminui a não-resposta ao item e b) aumenta o abandono do questionário, sem finalização, sobretudo na forma extrema deste design, em que cada questão ocupa uma página (esta forma deve ser fortemente evitada). Como se percebe, há pontos negativos e positivos nas duas formas. Os autores também testaram dois modelos visuais, um simples e outro com ilustrações visuais. Os resultados da pesquisa indicam que o uso de logotipos aumenta o número de respondentes abandonando o survey sem completá-los – embora este aspecto esteja estatisticamente correlacionado ao equipamento usado e ao tipo de conexão com a internet7. Pelo lado positivo, este design tende a diminuir as não-respostas ao item. A comparação dos dois tipos, contudo, parece não exercer influência sobre o conteúdo do que é respondido. Em suma, o uso de recursos visuais pode tanto aumentar a atratividade perante os respondentes quanto, eventualmente, torná-lo mais difícil de ser acessado e completado, o que pode reduzir a taxa de respostas. Ganassali (2008) sugeriu que a questão visual depende do tipo de incentivo visual, aumentando a taxa de respostas quando o incentivo visual era relevante para a pesquisa. Ou 7 Aqui, precisamos ponderar o contexto em que foi produzida a pesquisa destes autores, que talvez não se aplique mais atualmente. 41 seja, a recomendação de seu uso depende do contexto de cada pesquisa, não havendo uma regra única para todas. É uma boa ideia, contudo, especialmente no caso dos questionários multipáginas, o uso de um indicador de progresso. Permitir que respondentes saibam o quanto estão próximos do fim previne que desistam na metade e diminui abandonos ao questionário (MANFREDA; VEHOVAR, 2008). Também é importante certificar-se de que o questionário se adapte e responda corretamente aos diversos dispositivos a partir dos quais pode ser acessado (tablet, desktop, smartphone etc.). IX) O tamanho O que, sistematicamente, as pesquisas têm concluído é que tamanho importa. Tanto o tamanho do questionário quanto o tamanho de cada pergunta está relacionado ao esforço requerido dos respondentes. Ganassali (2008) aponta que o tamanho ótimo recomendado para questionários autoadministrados é entre 15 e 30 questões e que o tamanho de cada questão não deve ultrapassar 20 palavras. Perguntas mais curtas diminuem a probabilidade de mal-entendidos por parte dos respondentes. Além disso, questionários mais curtos têm taxa de respostas mais alta (DEUTSKENS et al., 2004). Em questionários longos, questões posicionadas próximas ao fim apresentam respostas mais curtas, mais rápidas e mais uniformes do que as respostas de questões no começo (Galesic; Bosnjak, 2009), sendo, portanto, enviesadas devido à questionnaire fatigue, o cansaço do respondente (BETHLEHEM, 2009). 3. DESAFIOS Nesta seção, resumiremos os principais problemas enfrentados na aplicação online de questionários, sobretudo em termos de sua representação amostral. I) Cobertura e erro amostral O principal problema em surveys online – e motivo, até a presente data, por que eles não podem substituir os surveys tradicionais – é a cobertura. Uma vez que o acesso à internet não é distribuído igualmente na sociedade – mesmo em países com alto acesso à internet, como os escandinavos, o uso efetivo pode variar substancialmente (por exemplo, entre os mais idosos) – não é possível construir amostras representativas da população somente a partir de aplicações online. A solução para isso é compreender – e claramente reconhecer – que surveys aplicados online não representam a população. O recorte destes estudos deve ser definido de maneira estrita. No melhor dos casos, à população com acesso à internet; na maioria dos casos, aos usuários do site X ou Y. 42 Relacionado a isso, o erro amostral ocorre quando mesmo membros da população recortada não são selecionados de forma adequada. Neste caso, a replicabilidade da pesquisa é prejudicada, pois se outros pesquisadores refizerem a pesquisa, com outra amostra, poderão chegar a resultados diferentes. A diferença dos dois aspectos, segundo Couper (2000), é que: Enquanto o erro de cobertura se refere a pessoas ausentes do recorte (neste caso, aqueles sem acesso à internet), o erro amostral surge durante o processo de seleção de uma amostra da população estudada (COUPER, 2000, p. 467). O processo de seleção exerce um papel fundamental para o erro amostral, como veremos adiante, no tópico (iii). II) Não-respostas A não-resposta ocorre quando uma parcela dos convidados a responder ao questionário não o fazem – ou respondem apenas parcialmente. A não-resposta pode ocorrer: (a) ao questionário e (b) ao item (pergunta). A não-resposta só pode ser calculada em amostras probabilísticas – e nesta probabilidade, como argumenta Groves (2006), reside a capacidade inferencial dos surveys de representar a população total sem viés. Se a taxa de não-respostas é alta, não é possível garantir que os resultados não contenham viés de alguma natureza8. Em surveys não-probabilísticos, não é possível calcular a taxa de não-resposta, logo, não é possível saber o nível de incerteza da pesquisa e se ela contém ou não algum viés. Em questionários online, aspectos distintos daqueles presentes em aplicações presenciais podem levar a não-respostas. Por exemplo, enquanto em aplicações presenciais os atributos físicos dos aplicadores afetam a taxa de não-resposta (GROVES, 2006), em questionários online este fator é residual. Os mais célebres aspectos relacionados à não-resposta ao questionário online são o tamanho (questionários menores aumentam as taxas de resposta) e a presença de elementos visuais (DEUTSKENS et al., 2004), embora, em termos mais básicos, também seja preciso considerar questões como o equipamento técnico para acesso à web e a familiaridade do respondente em lidar com estas ferramentas, para o correto preenchimento. Já a não-resposta ao item, contudo, pode estar 8 Vale notar que as taxas de não-resposta não obrigatoriamente indicam a presença de um viés, mas a possibilidade do mesmo. 43 relacionada a vários aspectos, entre os quais perguntas formuladas inadequadamente (por isso a importância de um bom questionário). III) Viés de autosseleção Este provavelmente seja o mais grave problema envolvendo surveys online – e diretamente se aplica ao tipo mais popular atualmente, aquele de autosseleção irrestrita. O problema da autosseleção reside no fato de que, nestas pesquisas, o questionário é distribuído em sites e redes onde pessoas possuem algum interesse no assunto relacionado à pesquisa. Sua participação, portanto, está diretamente relacionada às variáveis do estudo (COUPER; BOSNJAK, 2010) e o/a pesquisador(a) não controla quem decide participar ou, principalmente, seus motivos (BETHLEHEM, 2009). É provável que os indivíduos engajados em participar da pesquisa sejam mais interessados naquele tema e, portanto, potencialmente, possuam opiniões distintas da população em geral (COUPER, 2000). Isso, aliado à ausência de controle sobre os respondentes, leva ao perigo potencial do fenômeno que Duda e Nobile (2010) chamaram de stakeholder bias (viés do investidor). Pessoas interessadas no resultado da pesquisa podem agir deliberadamente para alterar os resultados da mesma, respondendo informações que não necessariamente correspondam à verdade factual. IV) Ausência de controle sobre respondentes A ausência de controle sobre quem responde afeta, tal como o tópico anterior, sobretudo os surveys de acesso irrestrito com autosseleção. Não há controle sobre se um mesmo indivíduo respondeu a pesquisas diversas vezes (ballot-stuffing) – ou mesmo se encaminhou para outras pessoas (que não fazem parte do recorte amostral), com a intenção de “ajudar” a pesquisa. Uma possibilidade mínima de controle – ainda que não seja completamente eficaz – é solicitar o e-mail e confirmar a resposta através do mesmo. Isto não impede, contudo, que e-mails falsos sejam criados, e pode gerar outras implicações, como tender a diminuir a taxa de respostas. Na internet, também precisamos considerar os casos de indivíduos que querem intencionalmente prejudicar eventuais pesquisas, pelos mais diversos motivos. O fac-símile reproduzido na Figura 2 ilustra o caso em que uma página, intencionalmente, age para distorcer os resultados de uma pesquisa, sendo conduzida por outra página (aparentemente, somente a título de galhofa). 44 Figura 2 - Exemplo de ação intencional para distorcer resultados de pesquisa Fonte: reprodução Facebook9 Esse tipo de ação, embora possa não parecer, é mais comum do que se imagina. Note que, nesse caso, os respondentes são reais. Mesmo solicitando e verificando o e-mail de cada um, ainda haveria a distorção, pela ação intencional em comprometer os resultados. Em um sentido diferente, a ausência de controle sobre os respondentes também pode afetar pesquisas com amostra por listas, como apontaram Bolognesi e Perissinotto (2015). No caso de estudos sobre elites políticas, mesmo quando o acesso individual é controlado por uma senha (garantindo que cada respondente só possa responder uma vez à pesquisa), não há como saber se o respondente foi, de fato, o parlamentar ou se este terceirizou a tarefa a alguém de seu staff. Este problema se aplica, sobretudo, quando o entrevistado é alguém que ocupe posições sociais mais altas, como políticos, empresários, artistas etc., podendo repassar o questionário para que outro 9 Disponível em: https://www.facebook.com/TestesDeMacho/posts/1304944196270316. Acesso em 09 de julho, 2017. 45 responda por si. Essa é uma limitação verdadeira, embora ainda exista espaço aberto para pesquisas nas quais seja indiferente a resposta do indivíduo, em si, ou “do gabinete”, como nos casos de Spada e Guimarães (2013), Vaccari (2014) e Carlomagno (2018). V) Homifilia É comum a prática de questionários serem distribuídos em mídias sociais, como o Facebook, através da rede de amigos do/da pesquisador(a) ou da publicação em grupos de interesse. Uma das principais limitações, neste caso, além daquelas já tratadas, refere-se à homifilia. O termo, cunhado por Paul Lazarsfeld e Robert Merton, foi resumido por McPherson, Smith-Lovin e Cook (2001) como o princípio de que a conexão entre pessoas semelhantes tende a ocorrer com maior frequência do que entre pessoas diferentes, constituindo, portanto, redes pessoais com alta homogeneidade. Existem dois tipos de homifilia: de “status” e de “valor”. A primeira se refere aos aspectos sociodemográficos, como classe social, raça, sexo, idade, escolaridade etc., a segunda se refere ao conjunto de valores, atitudes e crenças, como interesses intelectuais e orientação política (MCPHERSON et al., 2001). “Homifilia implica que a distância em termos de características sociais se traduz em distâncias dentro de uma rede” (MCPHERSON et al., 2001, p. 416). Isto significa que os fluxos informacionais em uma rede de contatos estarão limitados ao mesmo espaço social, a pessoas com o mesmo perfil. Esse fenômeno – que alguns analistas contemporâneos chamam pelo termo “bolha” – é um limitador imenso e razão pela qual redes pessoais dificilmente podem ser utilizadas para distribuir surveys, uma vez que o espectro de respondentes tende a ser limitado àqueles que já compartilham o mesmo espaço social do aplicador. Uma solução possível para isso é a técnica de snowball, que veremos na próxima seção. 4. POSSIBILIDADES E ESTRATÉGIAS Nesta seção, abordamos três possibilidades – ou estratégias – distintas para o uso de questionários online. As três possuem limitações de naturezas distintas. As duas primeiras só poderiam ser utilizadas em certas circunstâncias e têm alcance limitado para pesquisadores individuais. A terceira flexibiliza a preocupação com a amostragem e extrapolação em prol do alcance a certos grupos. 46 I) Amostras baseadas em listas O tipo que Couper (2000) chamou de survey com amostras baseadas em listas, embora restrito a somente algumas áreas, tem um grande potencial a ser explorado. Esse tipo de pesquisa visa populações limitadas, como um recorte de um subgrupo de uma população com alta taxa de cobertura ou cobertura completa. Esta técnica é muito utilizada em surveys intraorganizacionais, como, por exemplo, empresas que queiram enviar questionários a todos os seus funcionários, universidades ou departamentos que enviem pesquisas a todos seus alunos e assim por diante. Um requisito para a aplicação é que o/a pesquisador(a) tenha acesso a todos os contatos de e-mail da população-alvo. Convites são enviados por e-mail e o acesso é controlado para evitar múltiplas respostas pelo mesmo respondente. Uma vez que a população e a amostra são valores conhecidos, é possível calcular as taxas de não-respostas. Embora ainda possa existir o viés de autosseleção (cuja existência pode ser verificada), esta abordagem evita alguns dos problemas apresentados na seção anterior. Na ciência política, por exemplo, existe um potencial grande a ser explorado, com o estudo de parlamentares e candidatos (SPADA; GUIMARÃES, 2013; VACCARI, 2014). Possivelmente, esse é o tipo que mais se aproxima da consistência de surveys tradicionais. Contudo, sua aplicabilidade nas pesquisas em geral é, em alguma medida, limitada. II) Painéis pré-recrutados O survey com base em painéis para voluntários pré-selecionados é outro tipo que potencialmente evita os problemas mais comuns em surveys online. Esta estratégia consiste, conforme explicado por Couper (2000), em criar-se uma base da dados de potenciais respondentes voluntários a partir de convites exibidos em sites, portais e mídias sociais. Esta técnica evita o viés de autosseleção. Embora, esta técnica, ainda não seja vastamente usada no meio acadêmico – pois implica uma série de custos –, já é adotada por empresas de pesquisa de opinião. A Figura 3 ilustra esta abordagem. Trata-se de post patrocinado de um instituto de pesquisa, no Facebook, que perguntava sobre o resultado de um jogo de futebol – um tema amplo, com potencial de alcance a uma audiência ampla. O respondente é atraído para o questionário, onde tem que responder, colocadas como questões secundárias, preferências políticas e dados de contato. O cadastro do usuário é arquivado para futuras consultas que não possuirão o viés de autorrecrutamento, já que o respondente não se voluntariou para responder, por exemplo, sobre intenção de voto, mas sim sobre futebol. 47 Figura 3 - Exemplo de recrutamento para compor futura base de respondentes Fonte: reprodução Facebook10 Essa abordagem, apesar de promissora, tem uma limitação importante, que é o fator financeiro. Para alcançar uma audiência ampla, a página teria que “promover” suas postagens, recurso que é cobrado pelo Facebook. Além disso, é preciso que a estratégia seja implementada em larga escala e em diversos contextos diferentes para atrair uma amostra o mais representativa o possível. Embora a tendência seja que pesquisadores individuais dificilmente adotem tal tática, ela é uma possibilidade para grupos de pesquisas, organizações e similares. III) Amostragem intencional e snowball Diante do impasse e dos limites existentes, uma saída para os pesquisadores é limitar o escopo das análises, adotando técnicas que, embora não permitam a extrapolação para a população, ainda podem oferecer potenciais respostas para certas pesquisas. Duas técnicas, intimamente ligadas, cuja utilização está em franca ascensão, quando se trata de distribuição de questionários em mídias sociais, são a amostragem intencional (purposeful sampling) e a amostragem por bola de neve (snowball sampling). 10 Disponível em: https://www.facebook.com/paranapesquisas/photos/a.357691771082884. 1073741828.357362754449119/799673630218027/ 48 A amostra intencional (purposeful sampling) “envolve identificar e selecionar indivíduos ou grupos de indivíduos que possuam especial conhecimento ou experiência no fenômeno de interesse” (PALINKAS et al., 2015, p. 534). Ou seja, como o próprio termo indica, a amostra deixa de ser aleatória e passa a ser direcionada por algum objetivo. Couper e Bosnjak (2010) apontam que o recrutamento em mídias sociais pode ser especialmente efetivo se a pesquisa está buscando membros de um grupo raro ou de nichos específicos, que não poderiam ser acessados de outra forma. Neste escopo se encontram as pesquisas sobre hard to reach groups (grupos de difícil alcance) (ANDREWS; NONNECKE; PREECE, 2003). Essa técnica tem sido aplicada especialmente em áreas de saúde (SADLER et al., 2010; YUAN et al., 2014). O caso narrado por Schumacher e sua equipe (SCHUMACHER et al., 2014), em que utilizaram o Facebook para buscar crianças portadoras de uma doença rara, é um exemplo disto. Os autores argumentam que, na área médica, é difícil encontrar um grande grupo de pacientes com doenças raras. Contudo, portadores destas doenças tendem a se juntar em comunidades online, como grupos de Facebook. Portanto, a amostragem intencional seria, segundo estes autores, a modalidade dominante para alcançar estes indivíduos. Essa técnica, portanto, é apropriada para examinar comunidades de indivíduos que tendam a se reunir online por algum motivo. Dentro de amostra intencional há diversas técnicas, mas uma das mais utilizadas é a chamada snowball. Trata-se da técnica em que o/a pesquisador(a) pede que o entrevistado indique outros respondentes, que se encaixariam no perfil de interesse, e assim sucessivamente, ampliando a amostra inicial. Esta abordagem permite alcançar os grupos sociais mais impenetráveis, tais como elites ou setores mais vulneráveis e socialmente estigmatizados (ATKINSON; FLINT, 2001), embora também já tenha sido aplicada em uma longa lista de casos, como acesso à comunidade LGBT (BROWNE, 2005). Bhutta (2012) argumentou que especificamente o Facebook pode ser um recorte amostral promissor para recrutar respondentes, devido às suas características e, sobretudo, pelo acesso via “grupos”. Inclusive, no caso analisado por ela, as características dos respondentes tenderam a se aproximar do recorte de sua população, embora isto não possa ser tomado como regra. Por sua vez, Baltar e Brunet (2012) argumentaram que a amostragem snowball baseada no Facebook apresenta taxas de respostas superiores às taxas de pesquisas com snowball tradicionais. É preciso ponderar-se que alguns dos problemas apontados anteriormente podem continuar existindo nessa estratégia, contudo tendem a ser diminuídos. Por exemplo, o recrutamento em “grupos”, não na rede particular de amigos, 49 pode diminuir a homifilia, embora ela continue existindo, já que o algoritmo do Facebook faz com que postagens de amigos, mesmo em grupos, sejam mais exibidas do que de desconhecidos. A técnica de bola de neve, por sua vez, reduz o viés de autosseleção. Essas técnicas, provavelmente, têm sido algumas das mais utilizadas recentemente nas pesquisas acadêmicas que empregam mídias sociais como difusoras de questionários. Contudo, é preciso parcimônia nas conclusões derivadas das mesmas. Ambas são usualmente identificadas como “qualitativas”, pois – e é preciso ter claro isto – são não-probabilísticas. Logo, as conclusões obtidas não podem ser extrapoladas para toda a população, como surveys usualmente objetivam fazer. 5. CONSIDERAÇÕES FINAIS E RECAPITULAÇÃO Não há dúvidas de que surveys online são um método ainda a ser empreendido, que oferece alto potencial e oportunidades. Estes surveys começaram a se popularizar vinte anos atrás e somente há cerca de dez anos estas ferramentas se tornaram acessíveis a basicamente qualquer indivíduo com acesso à internet, de graça ou a preços módicos. Reconhecendo os limites do método, muitas pesquisas podem ser conduzidas satisfatoriamente, dentro de seu propósito restrito (COUPER; BOSNJAK 2010). Há muito caminho aberto para a aplicação de surveys online. Questionários online facilitam enormemente a técnica de split ballot (ALMEIDA, 2009). A ideia não é nova, mas em surveys presenciais demanda certo grau de dificuldade em sua operacionalização. Trata-se de subdividir o questionário, com perguntas diferentes a partir das respostas anteriores, em busca de questões específicas que se apliquem somente aos respondentes que ofertaram aquela resposta. Surveys online também abrem a possibilidade para experimentos controlados, randômicos, como sugerido por Kohavi et al. (2009), com a aplicação de testes do tipo A/B, em que um elemento muda a cada aplicação, de forma aleatória. Estes testes já são utilizados de forma exaustiva na área do marketing digital, mas ainda não foram explorados em sua totalidade na aplicação de surveys. Eles podem ajudar a estabelecer uma relação causal no comportamento observado do usuário, não apenas com perguntas e respostas. Neste tópico, também há diversos experimentos que são feitos com questionários online que, embora não se preocupem com validade externa (extrapolação), podem responder satisfatoriamente a problemas importantes de validade interna. Por fim, como Bhutta (2012) apontou, as mídias sociais ainda são pouco utilizadas como ferramentas para pesquisa, algo que provavelmente tende a mudar em breve. 50 Nosso modesto objetivo foi apresentar alguns dos principais tópicos metodológicos e operacionais para jovens pesquisadores interessados em questionários online. Para isso, resumimos os principais aspectos necessários para construir-se um bom questionário e expusemos os principais desafios que ainda impõem limites à aplicação de surveys online. Apresentamos três possibilidades de aplicação destes questionários – cada qual com suas limitações, mas também com seus potenciais. Para finalizarmos, uma vez que nosso objetivo foi didático, deixamos a seguir, a título de sugestão, um check-list com algumas questões para que o/a leitor(a) responda a fim de fixar sua compreensão sobre alguns dos conceitos-chave tratados neste capítulo. • Qual a diferença entre amostragem probabilística e não-probabilística? • É possível generalizar para toda a população uma pesquisa realizada com amostragem do tipo “bola-de-neve”? Por quê? • Quais fatores tendem a levar à não-resposta em um item de um questionário? • Por que a pergunta “por que você comprou este livro?” é ruim? • Qual o problema de respondentes escolherem se vão ou não participar da pesquisa (autosseleção)? • Se o pesquisador ou a pesquisadora quiser aplicar o questionário online para um recorte da população que não está online, em qual erro isto se classificaria? • Por que é improvável que um/uma pesquisador/pesquisadora individual consiga distribuir, a partir de sua rede pessoal, um questionário para um espectro amplo e diverso de respondentes? REFERÊNCIAS ALMEIDA, A. C. Erros nas pesquisas eleitorais e de opinião. Rio de Janeiro: Record, 2009. ANDREWS, D.; NONNECKE, B.; PREECE, J. Electronic Survey Methodology: A Case Study in Reaching Hard-to-Involve Internet Users. International Journal of Human-Computer Interaction, v. 16(2), p. 185–210, 2003. Disponível em: <https://doi.org/10.1207/S15327590IJHC1602_04>. ATKINSON, R.; FLINT, J. Accessing Hidden and Hard-to-Reach Populations: Snowball Research Strategies. Social Research Update, v. (33), p. 1-4, 2001. 51 BALTAR, F.; BRUNET, I. Social research 2.0: virtual snowball sampling method using Facebook. Internet Research, v. 22(1), p. 57–74, 2012. Disponível em: <https://doi.org/10.1108/10662241211199960>. BETHLEHEM, J. G. Applied survey methods: a statistical perspective. New Jersey: John Wiley & Sons, 2009. BHUTTA, C. B. Not by the Book. Sociological Methods & Research, v. 41(1), p. 57-88, 2012. BOLOGNESI, B.; PERISSINOTTO, R. O uso do survey no estudo do recrutamento político: limites e vantagens. In: PERISSINOTTO, R.; CODATO, A. (Eds.). Como estudar elites. Curitiba: Editora UFPR, 2015, p. 33–60. BROWNE, K. Snowball sampling: using social networks to research non‐heterosexual women. International Journal of Social Research Methodology, v. 8(1), p. 47-60, 2005. Disponível em: <https://doi.org/10.1080/13645570320000 81663>. CANNELL, C. F.; KAHN, R. L. The dual purpose of the questionnaire. In: KATZ, D.; CARTWRIGHT, D.; ELDERSVELD, S.; LEE, A. M. (Eds.), Public Opinion and Propaganda: A Book of Readings. New York: Holt, Rinehart and Winston, 1954. CARLOMAGNO, M. O que pensam os candidatos a prefeito sobre a reforma política? Resultados de um survey nacional em 2016. Revista Do Legislativo Paranaense, v. 2(1), 2018. CARLOMAGNO, M. C.; ROCHA, L. C. Como criar e classificar categorias para fazer análise de conteúdo: uma questão metodológica. Revista Eletrônica de Ciência Política, v. 7(1), p. 173-188, 2016. Disponível em: <https://doi. org/10.5380/recp.v7i1.45771>. COPPOCK, A. Did shy Trump supporters bias the 2016 polls? Evidence from a nationally-representative list experiment. Statistics, Politics and Policy, v. 8(1), 2017. Disponível em: <https://doi.org/10.1515/spp-2016-0005>. COUPER, M. P. Web surveys: A review of issues and approaches. Public Opinion Quarterly, v. 64, p. 464-494, 2000. COUPER, M. P.; BOSNJAK, M. Internet Surveys. In: MARSDEN, P. V.; WRIGHT, J. D. (Eds.). Handbook of survey research, 2. ed. Bingley: Emerald Group Publishing Limited, 2010. DEUTSKENS, E.; RUYTER, K.; WETZELS, M.; OOSTERVELD, P. Response rate and response quality of internet-based surveys: an experimental study. Marketing Letters, v. 15(1), p. 21-36, 2004. DUDA, M. D.; NOBILE, J. L. The Fallacy of Online Surveys: No Data Are Better Than Bad Data. Human Dimensions of Wildlife, v. 15(1), p. 55-64, 2010. Disponível em: <https://doi.org/10.1080/10871200903244250>. 52 FOWLER JR, F. J.; COSENZA, C. Writing effective questions. In: LEEUW, E. D.; HOX, J. J.; DILLMAN, D. A. (Eds.). International Handbook of Survey Methodology. New York: Lawrence Erlbaum Associates, 2008, p. 136-160. GALESIC, M.; BOSNJAK, M. Effects of questionnaire length on participation and indicators of response quality in aweb survey. The Public Opinion Quarterly, v. 73(2), p. 349-360, 2009. GANASSALI, S. The influence of the design of web survey questionnaires on the quality of responses. Survey Research Methods, v. 2(1), p. 21-32, 2008. GILLJAM, M.; GRANBERG, D. Should we take don’t know for an answer? The Public Opinion Quarterly, v. 57(3), p. 348-357, 1993. GROVES, R. M. Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, v. 70(5), p. 646-675, 2006. GÜNTHER, H. Como elaborar um questionário. (Série Planejamento de Pesquisa Nas Ciências Sociais). Brasília: UnB, Laboratório de Psicologia Ambiental, 2003. KALTON, G.; ROBERTS, J.; HOLT, D. The Effects of Offering a Middle Response Option with Opinion Questions. Journal of the Royal Statistical Society, v. 29(1), p. 65-78, 1980. KOHAVI, R.; LONGBOTHAM, R.; SOMMERFIELD, D.; HENNE, R. M. Controlled experiments on the web: survey and practical guide. Data Mining and Knowledge Discovery, v. 18(1), p. 140-181, 2009. Disponível em: <https:// doi.org/10.1007/s10618-008-0114-1>. KRIPPENDORFF, K. Content analysis: an introduction to its methodology. 2. ed. Thousand Oaks, Califórnia: Sage Publications, 2004. LAZARSFELD, P. F. The art of asking why: three principles underlying the formulation of questionnaires. In: KATZ, D.; CARTWRIGHT, D.; ELDERSVELD, S.; LEE, A. M. (Eds.). Public Opinion and Propaganda: A Book of Readings. New York: Holt, Rinehart and Winston, 1954. LEE, S. H. Constructing Effective Questionnaires. In: PERSHING, J. A. (Ed.). Handbook of Human Performance Technology: Principles, Practices, and Potential. New Jersey: John Wiley & Sons, 2006, p. 760-779. MALHOTRA, N. Time and Response Order Effects in Web Surveys. The Public Opinion Quarterly, v. 72(5), p. 914-934, 2008. MANFREDA, K. L.; BATAGELJ, Z.; VEHOVAR, V. Design of web survey questionnaires: three basic experiments. Journal of Computer-Mediated Communication, v. 7(3), 2002. Disponível em: <https://doi.org/10.1111/j.1083-6101.2002.tb00149.x>. MANFREDA, K. L.; VEHOVAR, V. Internet surveys. In: LEEUW, E. D.; HOX, J. J.; DILLMAN, D. A. (Eds.), International Handbook of Survey Methodology. New York: Lawrence Erlbaum Associates, 2008, p. 264-284. 53 MCCLENDON, M. J.; ALWIN, D. F. No-Opinion Filters and Attitude Measurement Reliability. Sociological Methods & Research, v. 21(4), p. 438464, 1993. MCFARLAND, S. G. Effects of Question Order on Survey Responses. The Public Opinion Quarterly, v. 45(2), p. 208-2015, 1981. MCPHERSON, M.; SMITH-LOVIN, L.; COOK, J. M. Birds of a Feather: Homophily in Social Networks. Annual Review of Sociology, v. 27(1), p. 415444, 2001. Disponível em: <https://doi.org/10.1146/annurev.soc.27.1.415>. MONDAK, J.; DAVIS, B. C. Asked and answered: Knowledge levels when we will not take “don’t know” for an answer. Political Behavior, v. 23(3), p. 199-224, 2001. PALINKAS, L. A.; HORWITZ, S. M.; GREEN, C. A.; WISDOM, J. P.; DUAN, N.; HOAGWOOD, K. Purposeful Sampling for Qualitative Data Collection and Analysis in Mixed Method Implementation Research. Administration and Policy in Mental Health and Mental Health Services Research, v. 42(5), p. 533544, 2015. Disponível em: <https://doi.org/10.1007/s10488-013-0528-y>. POE, G. S.; SEEMAN, I.; MCLAUGHLIN, J.; MEHL, E.; DIETZ, M. “Don’t know” boxes in factual questions in a mail questionnaire: effects on level and quality of response. The Public Opinion Quarterly, v. 52(2), p. 212-222, 1988. PRESSER, S.; SCHUMAN, H. The Measurement of a Middle Position in Attitude Surveys. The Public Opinion Quarterly, v. 44(1), p. 70-85, 1980. RASINSKI, K. A. The effect of question wording on public support for government spending. The Public Opinion Quarterly, v. 53(3), p. 388-394, 1989. SADLER, G. R.; LEE, H. C.; LIM, R. S. H.; FULLERTON, J. Recruitment of hard-to-reach population subgroups via adaptations of the snowball sampling strategy. Nursing & Health Sciences, v. 12(3), p. 369-374, 2010. Disponível em: <https://doi.org/10.1111/j.1442-2018.2010.00541.x>. SCHRIESHEIM, C. A.; EISENBACH, R. J. An exploratory and confirmatory factor-analytic investigation of item wording effects on the obtained factor structures of survey questionnaire measures. Journal of Management, v. 21(6), p. 1177-1193, 1995. SCHUMACHER, K. R.; STRINGER, K. A.; DONOHUE, J. E.; YU, S.; SHAVER, A.; CARUTHERS, R. L.; ... RUSSELL, M. W. Social Media Methods for Studying Rare Diseases. Pediatrics, v. 133(5), p. e1345-e1353, 2014. Disponível em: <https://doi.org/10.1542/peds.2013-2966>. SCHUMAN, H.; PRESSER, S. Question wording as an independent variable in survey analysis. Sociological Methods & Research, v. 6(2), p. 151-170, 1977. SPADA, P.; GUIMARÃES, F. S. Investigating Elite Behavior through Field answer more to core or swing voters? Brazilian Political Science Review, v. 7(1), p. 56-73, 2013. 54 TURGEON, M.; CHAVES, B. S.; WIVES, W. W. Políticas de ação afirmativa e o experimento de listas: o caso das cotas raciais na universidade brasileira. Opinião Pública, v. 20(3), p. 363-376, 2014. VACCARI, C. You’ve Got (No) Mail: How Parties and Candidates Respond to Email Inquiries in Western Democracies. Journal of Information, Technology & Politics, v. 11(2), p. 245-258, 2014. Disponível em: <https://doi.org/10.1080/1 9331681.2014.899536>. YUAN, P.; BARE, M. G.; JOHNSON, M. O.; SABERI, P. Using Online Social Media for Recruitment of Human Immunodeficiency Virus-Positive Participants: A Cross-Sectional Survey. Journal of Medical Internet Research, v. 16(5), p. e117, 2014. Disponível em: <https://doi.org/10.2196/jmir.3229>. 55